¿Qué se ‘propaga’ durante la retropropagación?

Básicamente, la señal de error se propaga hacia atrás. Al calcular la derivada de pesos dentro de un sistema de aprendizaje automático, al igual que en el cálculo, es más fácil y rápido usar la regla de la cadena. Es decir, comienza donde es más fácil calcular los derivados y luego trabaja hacia donde es más difícil.

Los derivados son muy fáciles de calcular en la capa de salida, pero se vuelven más difíciles desde la capa de salida hacia la capa de entrada. Por lo tanto, una vez que se calculan las derivadas en la salida, simplemente se pueden usar para la capa justo antes y así sucesivamente. El hecho de que el algoritmo se mueva hacia atrás le da el nombre de propagación hacia atrás.

Por lo tanto, los errores o derivados se propagan hacia atrás para que sea más fácil calcular todos los derivados de la función de costo con los pesos en un sistema de aprendizaje automático.

Espero que esto ayude.

Cada red neuronal (convolución o de otro tipo) tiene alguna medida de precisión o, por el contrario, el error. La idea general es cambiar los pesos de una red neuronal con respecto a este error, para minimizar el error general de entrenamiento.

Para minimizar el error, en el descenso de gradiente estocástico, la idea principal es mover los pesos en la dirección negativa del gradiente del error con los pesos. Eso es exactamente lo que se propaga hacia atrás a las capas anteriores, el gradiente de error. Creo que Brando Miranda dio una gran respuesta sobre cómo calcularlo.

Para una red convolucional, puede escribir matemáticamente la propagación hacia atrás en forma de convoluciones. Estoy seguro de que puede encontrar detalles en otro lugar.

La idea no es muy complicada. Cuando toma la derivada del error con respecto a un parámetro, obtiene la regla de la cadena. Tiene la regla de la cadena debido a las composiciones de función (en este caso especial de una red neuronal). Entonces calcula las derivadas de la pérdida desde la capa de pérdida hasta la primera capa y “propaga” esta pérdida para calcular la nueva pérdida.

Si quieres ser preciso, usualmente calculas la pérdida con respecto a una activación presináptica (la entrada a la no linealidad) y eso es lo que realmente se “vuelve a propagar”. Las ecuaciones son las siguientes: que V sea la función de pérdida. Entonces, la cantidad que se propaga es:

[matemática] \ frac {\ parcial V (w)} {\ parcial s ^ {(l)} _ j} = \ delta ^ {(l)} _ j [/ matemática]

Explícitamente, vuelve a propagarse al calcularlo “recursivamente” (entre comillas porque puede convertirlo en iterativo si lo desea):

[matemáticas] \ delta ^ {(l)} _ j = \ sum ^ {D ^ {(l + 1)}} _ {k ‘= 1} \ frac {\ partial V (w)} {\ partial s ^ { (l + 1)} _ {k ‘}} \ frac {\ partial s ^ {(l + 1)} _ {k’}} {\ partial a ^ {(l)} _ j} \ frac {\ partial a ^ {(l)}} {\ parcial s ^ {(l)} _ j} = \ sum ^ {D ^ {(l + 1)}} _ {k ‘= 1} \ delta ^ {(l + 1) } _ {k ‘} {W} ^ {(l + 1)} _ {j, k’} \ theta ‘(s ^ {(l)} _ j) [/ math]

donde s es la activación presináptica y a es el valor de la función de activación. Tenga en cuenta que el delta [math] \ delta ^ {(l)} _ j [/ math] se expresa en términos de otros deltas … hasta la capa de pérdida (el caso base de backprop). Esto solo muestra cómo backprop sigue reutilizando sus cálculos y los desliza hacia abajo (es decir, backpropagates) a la capa más cercana a la capa de entrada.

El error. Es decir, la diferencia (al cuadrado) entre la salida real y la salida deseada (entrenamiento).

Y si puede calcular el gradiente de este error (a través de la diferenciación), puede mover (los pesos) en una dirección para minimizar el error.

El problema con todos los algoritmos de descenso de gradiente es que existe un alto peligro de establecerse en un mínimo local, es decir, una solución aceptable, pero no óptima.