¿Cuáles son los principios para elegir estructuras para redes neuronales recurrentes?

Intentaré agregar algo a la respuesta de Maurizio.

Básicamente, para hacer que tu NN sea más poderoso, debes darle muchos pesos. E incluso si teóricamente pudieras poner todo tu peso en dos capas, es mucho más eficiente colocarlas en varias capas. Le da mucha más expresividad a su modelo.

Pero existen limitaciones tanto en la cantidad de peso en su modelo como en la cantidad de capas.

De hecho, para aprender pesos significativos, necesita tener muchos más datos de entrenamiento que pesos, de lo contrario, “sobreajustará” su conjunto de entrenamiento y aprenderá algo que no es útil en la práctica.

Además, mientras que distribuir pesos en capas tiende a ayudar a su modelo, también enfrenta nuevos problemas como el “gradiente de fuga” específico de NN profundo. De hecho, cuando tiene 5 capas de neuronas, la influencia de una neurona de la primera capa en la salida es muy pequeña, por lo que es difícil saber cuál debería ser su activación.
Estos problemas pueden limitarse con la correcta inicialización del peso, pero todavía están ahí.

Entonces, eso le da más idea sobre el intercambio que hace cuando diseña un NN.

Tenga en cuenta que Ng usa la deserción cuando entrena es NN. El uso del abandono evita que su NN se sobreajuste, por lo que una práctica común es: agregar capas y pesos a su NN hasta que comience a sobreajustar su conjunto de entrenamiento, luego entrenarlo con el abandono. Eso le garantiza que su modelo es lo suficientemente potente como para aprender sobre su conjunto de datos, mientras que el abandono lo obliga a extraer regularidades y generalizar bien.

Así que se trataba de cómo generalmente se elige la cantidad de capas y la cantidad de pesos.

En este caso, todo se optimizó también para la informática GPU. Lo que significa que las capas no tienen demasiado peso, por lo que pueden caber fácilmente en una memoria de GPU.

La elección de las dos capas recurrentes (una de izquierda a derecha y otra de derecha a izquierda) se debe a la naturaleza de la tarea. Cuando escuches a alguien hablar, si escuchas mal una palabra, usarás toda la oración para corregirla. Entonces, eso es lo que pretende hacer la capa recurrente: proporcionar un poco de contexto antes de producir la palabra.

Como explicó Maurizio anteriormente, estas capas son computacionalmente caras porque no pueden ser paralelizadas. Por lo tanto, desea proporcionarles características de alto orden en la entrada para que no tenga que poner demasiado peso en estas capas recurrentes.

Y estoy seguro de que el equipo de Baidu no obtuvo estos resultados en su primer intento. Es probable que requiera muchas iteraciones, con diferentes números de pesos y capas, diferentes descensos de gradiente, diferentes tasas de abandono, etc.

Un principio también podría ser observar el patrón de conectividad recurrente presente en el cerebro, por ejemplo, en la corteza visual, e intentar replicarlo.

Esto podría estar motivado, porque la naturaleza tuvo millones de años para optimizar sus circuitos.
Vea un ejemplo de este enfoque, la Pirámide de abstracción neural, aquí:

Redes neuronales jerárquicas para la interpretación de imágenes.
Lecture Notes in Computer Science 2766, Springer, 2003.