¿Cómo describirías las redes de memoria?

Veo las redes de memoria como una solución interesante al problema de la memoria limitada en otras formulaciones de red como redes recurrentes / LSTM, etc. En tales redes, algunas recurrencias como [math] h_t = f (h_ {t-1}, x_t) [ / math] se sigue para actualizar algún estado oculto. La función [matemática] f (.) [/ Matemática] es generalmente sublineal, lo que resulta en el hecho de que la influencia del estado de [matemática] k [/ matemática] pasos anteriores disminuye exponencialmente como [matemática] k \ rightarrow \ infty [ /mates]. Las redes de memoria almacenan todo el estado de una entrada dada en un almacenamiento de memoria, lo que significa que uno puede “consultar” en la memoria los “ajustes” adecuados a las preguntas que surgieron muchos pasos atrás. Los autores demuestran esta capacidad de la formulación de la red de memoria al desempeñarse bien en tareas de preguntas y respuestas donde la respuesta aparece una gran distancia antes de la pregunta.