Ha habido varios desde 2014. En mi humilde opinión, después de la existencia de la traducción automática neuronal, se ha dedicado mucho esfuerzo al diseño de mejores redes recurrentes, que incluyen, entre otros, los siguientes:
- El resurgimiento de la memoria a corto plazo (LSTM)
- Variaciones de LSTM como GRU. El principio de tener un carrusel lineal conecta de alguna manera los modelos recurrentes con los de visión artificial, como ResNet
- Modelo de secuencia a secuencia (seq2seq). Dado que es fácil y natural lanzar cualquier cosa como una situación seq2seq, la gente ha estado haciendo eso. Se crearon documentos con nombres divertidos como “Show and Tell”, “Listen and Spell”, etc.
- Mecanismo de atención y otros modelos de memoria auxiliar (red de memoria, máquina neural de Turing, red de memoria dinámica, etc.). Estos ayudan a los RNN a mejorar en problemas que requieren modelar secuencias más largas. Con él surgieron nombres en papel más divertidos como “Mostrar, asistir y contar”, “Escuchar, asistir y deletrear”
- En curso: tiempo de cálculo adaptativo
- En curso: formación de RNN con aprendizaje de refuerzo, por ejemplo. “Capacitación a nivel de secuencia: […]” (ICLR 2016)
