Además de lo que ya se ha publicado, las redes residuales y las redes de carreteras podrían verse como una forma de esto. La idea es que al incluir las conexiones de mapeo de identidad a cada capa, la red puede sustituir cualquier número de capas con un mapeo de identidad, de modo que durante el entrenamiento la red pueda encontrar su número óptimo de capas.
Para ampliar esto un poco, imagine que entrenamos una red de capa N con alguna forma de conexiones de mapeo de identidad, y que la configuración óptima verdadera es una red de capa X, donde X es menor que N. Luego, durante el entrenamiento, la red puede aprender usar el mapeo de identidad para las primeras capas NX, y luego la configuración óptima en las últimas capas X para producir la red óptima sin un número preseleccionado de capas elegidas por el operador (aparte del límite superior introducido por N).
Teóricamente, cualquier red con N capas debería poder hacer esto, pero las arquitecturas actuales tienden a experimentar grandes dificultades para obligar a esas primeras capas a formar un mapeo de identidad sin las conexiones que están diseñadas para omitir capas.
- ¿Qué es más importante para la IA: cadenas de Markov y procesos de Markov o sistemas expertos y redes neuronales?
- ¿Cómo son los FPGA mejores que la tecnología anterior en redes neuronales o IA?
- ¿Cuál es la dimensión VC de una red neuronal?
- ¿La IA reemplazará a los humanos en el campo del diseño?
- ¿Por qué las máquinas de vectores de soporte han caído en desgracia?
