¿En qué parte de mi red neuronal implemento la función de costo?

Una función de costo no minimiza el error de los pesos. De hecho, no entiendo lo que quieres decir con “error de los pesos”. Una función de costo mide el error de toda su red neuronal . Cuanto más pequeño sea, mejor estará su red neuronal realizando su tarea dada. Por lo tanto, lo que debe intentar minimizar es la función de costo en sí .

Respondí a esta pregunta con una explicación de qué son y cómo funcionan, lo que puede ser útil para usted ya que menciona que tiene problemas para comprenderlos.

Sin embargo, realmente no entiendo lo que quieres decir con “dónde implementarlo”. Si quiere decir en qué parte del código real, necesitaría saber qué está usando (es decir, lenguaje de programación, cualquier biblioteca). En general, debe implementar su gradiente con respecto a la salida y usar el algoritmo de retropropagación con esto para calcular los gradientes del costo con respecto a cada uno de los pesos y sesgos, y luego actualizar cada uno de ellos con un pequeño múltiplo de sus gradiente (esto es descenso en gradiente). También implementaría y evaluaría la función de costo de vez en cuando para medir la precisión de su red neuronal.

No recomiendo probar todo esto hasta que comprenda la teoría. Hacerlo por primera vez es un desafío (lo fue para mí), incluso con una sólida comprensión teórica.

En el corazón de cualquier algoritmo de aprendizaje hay una función de optimización, que trata de minimizar una función (“función de costo”) sobre un conjunto de parámetros. La naturaleza y el diseño de la función de costo cambia en diferentes algoritmos y también depende de la tarea en cuestión. Por ejemplo, en Regresión lineal, la función de costo es la suma de cuadrados de errores entre los valores reales y el valor predicho. La rutina de optimización luego intenta minimizar esta función de costo y llegar a los coeficientes de regresión.

En las redes neuronales (para la clasificación) no es la suma de cuadrados de errores sino una función convexa (una condición deseable pero no necesaria). Piense en las redes neuronales como una extensión de la regresión logística.

Para un análisis mucho mejor y detallado / proceso paso a paso de diseño de su propio NN, eche un vistazo al curso de Aprendizaje automático del Dr. Andrew Ng en Coursera.

http://www.coursera.org