¿Cuál es la diferencia entre una función de costo y una función de pérdida en el aprendizaje automático?

El siguiente enlace proporciona una discusión técnica sobre la función de costo / función de pérdida / función objetivo: http://stats.stackexchange.com/q …

La función de pérdida (o error) es para un solo ejemplo de entrenamiento, mientras que la función de costo es sobre todo el conjunto de entrenamiento (o mini-lote para SGD).

Andrew Ng utiliza esas definiciones en sus cursos Función de costo de regresión logística – deeplearning.ai | Coursera (ver aproximadamente a las 7:00 minutos)

Puedo ver algunas respuestas que dicen que son iguales, lo que me hace pensar que hay definiciones contradictorias. Función de pérdida – Wikipedia Wikipedia, por ejemplo, está de acuerdo con eso.

Seguiré usando el que especifiqué, ya que parece ser el más comúnmente aceptado (vea aquí Función objetivo, función de costo, función de pérdida: ¿son lo mismo?) Pero sugiero aclarar esas cosas si trabaja en un equipo y asegúrese de que todos quieran decir lo mismo.

La función de pérdida es para un ejemplo de entrenamiento,
La función de costo es para todo el conjunto de entrenamiento. Esto se explica claramente en los cursos de Andrew Ng en la plataforma Coursera, que sugiero encarecidamente.

La función de pérdida calcula el error para un solo ejemplo de entrenamiento; La función de costo es el promedio de las funciones de pérdida de todo el conjunto de entrenamiento.

La respuesta anterior es del curso Coursera: Redes neuronales y aprendizaje profundo.

La función de pérdida calcula el error para un solo ejemplo de entrenamiento.

La función de costo es el promedio de las funciones de pérdida de todo el conjunto de entrenamiento.

abhishek mamidi

generalmente las funciones de costo y pérdida son sinónimos, pero la función de costo puede contener términos de regularización además de la función de pérdida. aunque no siempre es necesario

Ellos son la misma cosa. Como función de costo, por lo general, solo se calcula el error cuadrático medio (pérdida) entre una salida real y la salida deseada cuando se realizan tareas de aprendizaje supervisadas. Por lo tanto, una función de pérdida puede considerarse sinónimo de una función de costo.

Aquí, hay una buena explicación de la diferencia:

http://image.diku.dk/shark/sphin …

La función de pérdida calcula el error para un solo ejemplo de entrenamiento, mientras que la función de costo es el promedio de las funciones de pérdida de todo el conjunto de entrenamiento.

La función de pérdida es para un ejemplo de entrenamiento
La función de costo es para todo el conjunto de entrenamiento.