El algoritmo de retropropagación puede funcionar en redes neuronales recurrentes, y estos modelos pueden comportarse razonablemente bien, al menos en la dirección de avance. El problema es la naturaleza supervisada del aprendizaje de propagación hacia atrás.
Normalmente en backprop, tiene un ejemplo de salida correcta (la “verdad de tierra”) para usar como una “señal de supervisión” para entrenar la red. Esta respuesta correcta se utiliza para generar valores de error, que luego se propagan hacia atrás a través de la red.
Pero cuando la red es recurrente, ¿cuál es la “verdad fundamental” para las salidas que retroalimentan las entradas?
- Cómo obtener trabajos de aprendizaje automático sin una educación formal
- ¿Qué es la agrupación promedio global?
- ¿Cuándo debo usar la agrupación antes de ejecutar un modelo de regresión logística?
- ¿Cuáles son los trabajos más interesantes de CVPR 2016 y por qué?
- ¿Por qué las técnicas de optimización como el gradiente natural y los métodos de segundo orden (L-BFGS por ejemplo) no se usan mucho en el aprendizaje profundo?
Una vez que la red se está ejecutando, se podría ejecutar la red hacia atrás por el mismo número de pasos, y comenzar el proceso sin señal de error para la salida recurrente en la primera iteración. Iniciar la red para cada muestra de entrenamiento también podría ser complicado, ya que un estado inicial para los nodos recurrentes (¿todos ceros?) Será artificial y no representativo de la dinámica convergente estable (si converge, lo que puede no ser posible).
