¿En qué se diferencia LSTM de RNN? En una explicación laica.

Los LSTM son un tipo especial de redes neuronales recurrentes (RNN). Como ya sabe, los RNN son una amplia categoría de redes neuronales con bucles de retroalimentación, y son capaces de “recordar” y utilizar información sobre entradas anteriores.

Para comprender por qué los LSTM han dominado el campo de los RNN, primero debemos analizar brevemente cómo se entrenan las redes neuronales. La mayoría de las redes se entrenan a través de alguna variante de descenso de gradiente , que es un proceso iterativo. En cada paso, hacemos lo siguiente:

1. Déle a nuestra red neuronal algo de entrada y haga que calcule algo de salida (“propagación directa”)
2. Mida el error de la salida
3. Usa el error para calcular el gradiente . En términos generales, el gradiente nos dice cómo cambiar los parámetros en nuestra red neuronal para reducir la cantidad de error en nuestro modelo. El gradiente se calcula a través de la propagación inversa, que es básicamente la regla de la cadena en el cálculo.
4. repita los pasos 1–4 con otras entradas

(Dependiendo de la variante de descenso de gradiente que use, estos pasos pueden cambiar un poco)

Desafortunadamente, el gradiente en las redes neuronales profundas es inestable. Como los gradientes anteriores son el producto de los gradientes posteriores, tienden a aumentar o disminuir exponencialmente. Esto se conoce como el problema de gradiente de desaparición / explosión . (Aquí hay un capítulo de un libro de texto en línea muy agradable al respecto. Si bien no se trata exactamente de los términos simples, las matemáticas son relativamente delicadas y me pareció muy útil)

¡Este problema con gradientes inestables es mucho peor en los RNN! Esto se debe a que cuando entrenamos RNN, no solo estamos calculando el gradiente a través de todas las diferentes capas, sino también a través del tiempo . (Una forma de visualizar esto es que “desenrollamos” el RNN, por lo que terminamos con muchas copias diferentes del mismo RNN apiladas una encima de la otra, y entrenamos todo esto de una vez). Esto conduce a muchas, muchas más capas y, por lo tanto, el problema del gradiente de fuga se vuelve mucho peor. Por lo tanto, aunque los RNN “vainilla” en teoría deberían poder usar información del pasado distante, no han podido hacerlo en la práctica (ej. Recordar una palabra en una oración anterior).

Ingrese a redes de memoria de corto plazo (LSTM). Los LSTM introducen el concepto de estados celulares, que proporcionan “autopistas” para que el gradiente fluya hacia atrás a través del tiempo libremente, lo que lo hace más resistente al problema del gradiente de fuga.

El estado de la celda puede considerarse casi como datos almacenados en la memoria de una computadora. Los LSTM pueden “recordar” u “olvidar” información en el estado celular mediante el uso de neuronas especializadas llamadas “puertas”. De esta manera, los LSTM pueden retener dependencias a largo plazo y conectar información del pasado al presente. Hay tres puertas:

1. olvidar puerta: decidir qué información de entradas anteriores para olvidar
2. puerta de entrada: decida qué nueva información recordar
3. puerta de salida: decida qué parte del estado de la celda se emitirá (esto es lo que vemos saliendo del LSTM)

La matemática para la propagación inversa (medición del gradiente) en los LSTM es mucho más complicada, pero resulta conveniente para que la información en nuestro estado celular no se vea afectada por el problema del gradiente de fuga. Por lo tanto, los LSTM son mucho más resistentes a los gradientes de fuga.

Si sientes que los LSTM suenan realmente complicados, no estás solo. Los investigadores han introducido muchas variantes más simples de LSTM, pero hasta ahora la compensación entre la complejidad y el rendimiento del modelo se ha mantenido. Es por eso que los LSTM, aunque complejos, siguen siendo muy populares.

El blog de Christopher Olah tiene una publicación maravillosa sobre LSTM, con ilustraciones esclarecedoras. Aunque no es exactamente en términos simples, es una gran lectura.