En redes neuronales artificiales, ¿a qué se refiere la ‘señal’ en el contexto de los gradientes?

Breve analogía

Las señales en redes neuronales artificiales (ANN) son análogas a las señales disparadas en el cerebro, es decir, las redes neuronales biológicas. Se transmiten a través de una red de neuronas a algún punto donde activan alguna respuesta.

Fuente de la imagen: Señales cerebrales enviadas a través de Internet

Redes neuronales artificiales

Fuente de la imagen: Golden Retrievers, Terriers y Redes Neuronales Artificiales

Ahora volviendo a su pregunta sobre qué señales hay en las redes neuronales artificiales, son los controles de entrada que se alimentan y propagan en las ANN. Estas entradas se transforman a través de capas de la ANN, donde cada neurona recibe un valor que es la suma ponderada de señales (entradas) de la capa anterior, que pasa a través de una función de activación . De esta manera, las señales se propagan hacia adelante hasta la última capa, que es la capa de salida (respuesta).

Inicialmente, la respuesta de la ANN será incorrecta de acuerdo con la respuesta deseada (obtenida a través de los datos de entrenamiento). Para rectificar este error, calculamos el error en cada capa. En la capa de salida, es simplemente la diferencia de salida de ANN y la salida real, mientras que en las capas anteriores, se calcula al rastrearlo hacia atrás. Esto se hace diferenciando el valor en esa neurona con respecto a las entradas . Esto produce un término que es el producto del error en la siguiente capa (conectada a esta neurona), diferencial de la función de activación (en esa neurona), y un término adicional que determina la tasa de actualización de los pesos, llamada tasa de aprendizaje. Esto a menudo se llama propagación de regreso .

Fuente de la imagen: Red neuronal – Algoritmo de propagación hacia atrás

Resumen

Por lo tanto, para resumir, las señales son las entradas que se propagan en una red neuronal artificial, que se transforman y transmiten a través de cada capa. Este efecto de transformación se visualiza en la capa de salida donde el error es el resultado de la transformación dentro de la red. Por lo tanto, toda la red se remonta hacia atrás, corrigiendo así el error en cada etapa, minimizando la función de costo (por el método de gradiente), con respecto a las señales en esa capa.

Espero que esto haya sido útil. 🙂

PD : Juega el gif en el último sitio web. También mi consejo es ver algunos videos que ilustran la propagación hacia atrás, no debería ser demasiado difícil de seguir, al menos conceptualmente.