¿Alguien ha encontrado un análisis matemáticamente riguroso de la unidad LSTM?

Las redes neuronales recurrentes (RNN) de memoria a corto y largo plazo (LSTM) han superado recientemente a otros enfoques de vanguardia, como i-vector y redes neuronales profundas (DNN), en identificación automática del lenguaje (LID), especialmente cuando se trata con expresiones muy cortas (∼3s). En esta contribución, presentamos un sistema LSTM RNN de código abierto y de extremo a extremo que se ejecuta en recursos computacionales limitados (una sola GPU) que supera a un sistema i-vector de referencia en un subconjunto de la Evaluación de reconocimiento de idiomas NIST (8 idiomas de destino , Tarea 3s) hasta en un 26%. Este resultado está en línea con la investigación publicada anteriormente que usa implementaciones LSTM patentadas y enormes recursos computacionales, lo que hizo que estos resultados anteriores apenas fueran reproducibles. Además, ampliamos esos experimentos anteriores que modelan lenguajes invisibles (fuera de conjunto, OOS, modelado), que es crucial en aplicaciones reales. Los resultados muestran que un LSTM RNN con modelado OOS es capaz de detectar estos idiomas y se generaliza de manera sólida a idiomas OOS invisibles. Finalmente, también analizamos el efecto de datos de prueba aún más limitados (de 2.25s a 0.1s) demostrando que con tan solo 0.5s se puede lograr una precisión de más del 50%.

Jezreel

@ ArticleInsights.com

Hay un montón de buenas publicaciones de blog que diseccionan la arquitectura para usted, hasta las operaciones de matriz / vector (algunas dan derivaciones de primer orden para que apunte en la dirección correcta). Un buen ejemplo sería: Entender las redes LSTM. Al final, sin embargo, todo lo que necesita es aplicar la regla de la cadena antigua a las diversas ecuaciones de capa (en orden inverso) para obtener las derivadas de su pérdida con respecto a los parámetros y estará listo para ir =]