¿Está saturada la investigación de redes neuronales? Si no, ¿qué variaciones son populares en las comunidades de investigación?

Creo que no está saturado e incluso su popularidad se está haciendo cada vez más grande. Hay muchos temas en espera de explicaciones, nuevos métodos en espera de descubrimiento. Puede encontrar cuáles son las ideas comunes implementadas con éxito por la academia desde cualquier lugar relacionado con ML. También puede consultar mi blog, sección sobre DL para leer y ver más.

Sin embargo, si pregunta qué es más, supongo que ahora un problema fundamental es fusionar redes supervisadas y no supervisadas trabajando juntas para resolver estúpidos conceptos erróneos de los modelos entrenados. Puede seguir estos dos artículos para este caso;

Redes Adversarias Generativas [ArXiv] [Código / hiperparámetros]
Ian J. Goodfellow , Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio
NIPS 2014

Propiedades intrigantes de las redes neuronales [ArXiv]
Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow , Rob Fergus
ICLR 2014

G. Hinton hizo otra cosa, a saber, The Dark Matter of Deep Learning. La idea es comprimir un NN grande a NN más pequeño sin pérdida de rendimiento. Incluso, como él dijo, su trabajo es rechazado por las conferencias desde el punto de vista de su presentación, vi una muy buena intuición para el trabajo y creo que vendrá más.

Si considera el aprendizaje profundo como redes neuronales (lo cual puede hacer absolutamente, mucha gente lo hace) no está muerto en absoluto. Además, la comunidad de reconocimiento de voz hace un uso extenso de los enfoques de redes neuronales.