Sí. Los RNN estándar contienen una sola neurona que realiza una transformación no lineal.
Los RNN más complejos, como las unidades recurrentes con compuerta, LSTM, LSTM con mirillas contienen varias neuronas en su interior, que requieren al menos una matriz (y un vector de polarización opcional) para cada puerta.
Una imagen vale más que mil, aquí hay una comparación muy clara de un artículo Comprensión de las redes LSTM:
- Cómo entrenar algoritmos relacionados con IA sin una GPU decente
- ¿Qué es el aprendizaje automático y la IA?
- Cómo lidiar con datos sin patrones en los que necesito realizar un modelo de clasificación
- ¿Aprendizaje automático para predecir valores para t + 1?
- ¿Cuáles son algunos libros sobrevalorados en aprendizaje automático, estadísticas y aprendizaje profundo?
Un rectángulo amarillo es una neurona, las líneas conjuntas representan la concatenación de vectores y los óvalos morados representan operaciones de componentes.
RNN estándar :
LSTM :
Entonces, como puede ver, los LSTM tienen cuatro veces más parámetros que la unidad RNN de vainilla.
