Existen muchos métodos alternativos para optimizar los RNN:
- Backprop
- Kalman Filters
- RTRL (solo descenso de gradiente). Buen tutorial que describe los primeros tres: http: //minds.jacobs-university.d…
(Los siguientes son los más recientes ..) - Métodos espectrales [1603.00954] Entrenamiento de redes neuronales recurrentes de entrada-salida a través de métodos espectrales
- Alineación de retroalimentación directa [1609.01596] La alineación de retroalimentación directa proporciona aprendizaje en redes neuronales profundas (esta es genial, ya que no necesita gradientes ni backprop).
- Gradientes sintéticos desacoplaron las interfaces neuronales usando gradientes sintéticos | DeepMind (este es uno de los papeles más famosos de 2016)
- Uso del aprendizaje por refuerzo para entrenar las redes neuronales recurrentes de ajuste de RNN con el aprendizaje por refuerzo (papel muy interesante nuevamente)
Sin embargo, Backprop sigue siendo el mejor para entrenarlos como un algoritmo general y tiene muchas herramientas disponibles para codificar. La mayoría de los RNN de última generación son entrenados por backprop. El resto se ha visto en algunas investigaciones con algunos documentos sobre ellos y tomará múltiples resultados brillantes antes de que se vuelvan tan comunes como backprop.
- ¿Cómo ser bueno en la programación de Python si quiero aprender el aprendizaje automático? ¿Son estos problemas diferentes de la programación competitiva?
- ¿Las redes RBM (máquina de Boltzman restringida) suelen tener el mismo número de nodos por capa?
- ¿Qué representa el término sesgo en la regresión logística?
- ¿Cómo se usa una capa oculta soft-max en una red neuronal profunda?
- ¿Cuál sería un buen proyecto de PNL?
