Hasta 2006, los esfuerzos para preparar estructuras profundas (por ejemplo, sistemas neuronales multicapa con más de 2 capas envueltas) no tuvieron éxito. A partir de ese momento, se han propuesto y exhibido algunos procedimientos para preparar diseños más profundos. Una ilustración inequívoca de tales cálculos son las Deep Belief Networks, que son modelos gráficos organizados como sistemas neuronales estocásticos con numerosas capas, y que se pueden preparar de manera no supervisada, una capa a la vez.
Cada capa habla a un modelo de componente para la capa debajo, y en general adquirimos un modelo de elemento profundamente no recto. Desde 2006, la cantidad de documentos sobre diseños profundos se ha convertido rápidamente, se han propuesto algunos cálculos diferentes para estructuras profundas, se han obtenido resultados de pruebas energizantes en una amplia variedad de recados, y las oficinas de subsidios están comenzando a ver la importancia de esta exploración pregunta. Hinton et al presentaron Deep Belief Networks en un artículo de 2006 sobre Computación Neural. Compuse el documento de auditoría adjunto sobre las inspiraciones y cálculos para modelos profundos:
Yoshua Bengio, Aprendizaje de estructuras profundas para IA, Para aparecer en Fundamentos y tendencias para el aprendizaje automático.
- ¿Cuáles son los problemas de investigación 'hardcore' en visión artificial, aprendizaje automático y arquitectura informática?
- ¿Qué aspecto de los algoritmos de las redes de aprendizaje profundo requieren GPU además de, o en lugar de, CPU, y por qué?
- ¿Alguien ha encontrado un análisis matemáticamente riguroso de la unidad LSTM?
- ¿Cuáles son las ventajas y desventajas de usar Statsmodels sobre Scikit-learn?
- ¿Cuál es el mejor blog / sitio para mantenerse actualizado sobre las últimas tecnologías y herramientas de big data, aprendizaje automático?
Desde nuestro laboratorio, estos diferentes documentos pueden considerarse trabajos posteriores sobre el acuerdo fundamental de Hinton et al con RBM y DBN:
Yoshua Bengio, Pascal Lamblin, Dan Popovici y Hugo Larochelle, Greedy Layer-Wise Training of Deep Networks, en: Advances in Neural Information Processing Systems 19 (NIPS’2006), páginas 153-160, MIT Press, 2007.
Hugo Larochelle, Dumitru Erhan, Aaron Courville, James Bergstra y Yoshua Bengio, Evaluación empírica de arquitecturas profundas sobre problemas con muchos factores de variación, en: ICML’2007, páginas 473-480, 2007.
Hugo Larochelle y Yoshua Bengio, Clasificación que utiliza máquinas Boltzmann restringidas discriminatorias, en: Conferencia internacional sobre procedimientos de aprendizaje automático (ICML’2008), 2008.
