¿Por qué utilizamos un RNN en lugar de una simple red neuronal?

RNN (red neuronal recurrente) se utiliza principalmente en PNL. Por ejemplo, una aplicación de RNN está en modelado de lenguaje o generación de texto. Este tipo de tareas exige que comprenda la semántica y la forma sintáctica de las oraciones. En otras palabras, la dependencia entre las palabras, digamos, qué palabra “Y” debe aparecer al siguiente de alguna palabra “X”, debe tenerse en cuenta.

Por lo tanto, RNN tiene esta capacidad (puede aprender la dependencia mediante BPTT, es decir, la propagación inversa a través del tiempo) de la que carece una red neuronal convencional. RNN parece funcionar mejor en esas tareas de PNL y es por eso que básicamente usa RNN.

En una nota al margen, RNN no es el goto NN en esas tareas de PNL, hay pocos RNN avanzados como LSTM (Memoria a corto plazo), GRU (Unidad recurrente cerrada) que tienden a superar a los RNN convencionales. Esto se debe a que los RNN no pueden ocuparse de la dependencia a largo plazo de una oración. Por ejemplo, si una oración tiene 100 palabras, RNN falla completamente en este caso, mientras que LSTM, GRU le dan más libertad para elegir y hacer que el modelo aprenda qué memorizar, qué dejar, qué agregar. Lea sobre ellos para saber en detalle.

En pocas palabras, los RNN tienen memoria mientras que las redes simples (como Perceptron) y no tan simples (como CNN) no.

En cualquier caso de una sola operación (como clasificar una sola imagen) la red de retroalimentación no tiene información sobre lo que hizo antes, siempre comienza desde cualquier estado en el que fue entrenada de antemano. Sin evolución después del entrenamiento inicial.

Los RNN, por otro lado, además de la carga útil (como una imagen para describir) reciben su propia salida de la aplicación anterior (y de forma transitiva de todas las aplicaciones anteriores). De esta forma, pueden transferir algunos datos al “yo futuro” formando así una especie de memoria y evolucionando más lejos de nuevas instancias de aplicación.