No hay mucho aquí.
Hay un par de documentos que relacionan el aprendizaje profundo con los anteojos (por LeCun), y algunos menores sobre las relaciones entre el aprendizaje profundo y la teoría del grupo de renormalización.
Vea mi blog y referencias allí:
- ¿Cómo debe comenzar un principiante con la investigación en Machine Learning?
- ¿Cuáles son los fundamentos programáticos del procesamiento del lenguaje natural?
- No tengo dinero para comprar una computadora poderosa, ¿cómo puedo aprender en la GPU?
- ¿Cuáles son las nuevas modificaciones en las redes neuronales recurrentes cuando se considera el aprendizaje profundo?
- ¿Debería haber una relación específica entre el número de características y el número de clases? Si tengo 15 funciones pero 50 clases con 1000 datos de entrenamiento, ¿tendré un problema de sobreajuste? ¿Y cuál es la mejor técnica de clasificación para esta relación?
¿Por qué funciona el aprendizaje profundo?
Por qué Deep Learning Works II: el Grupo de Renormalización
sobre aprendizaje barato: funciones de partición y RBM
Los físicos han descubierto lo que hace a las redes neuronales tan extraordinariamente poderosas
Hay algunos trabajos recientes e interesantes que muestran cómo aplicar la teoría tradicional TAP para mejorar las RBM. La idea aquí es que uno puede obtener un nuevo solucionador para un RBM que se entienda exactamente y se pueda mejorar sistemáticamente, a diferencia de todo el desorden que se necesitó para comprender y extender los solucionadores de CD y PCD. He codificado esto en Python como un módulo de aprendizaje de scikit y he estado experimentando con él.
Mejora de RBM con química física
Hay un trabajo teórico de UCLA que también utiliza ideas de la teoría del vidrio giratorio. Aquí, se muestra que cuando se aplica un campo externo, el Paisaje Energético ‘trivializa’. La idea básica aquí (creo) es que un vidrio giratorio (campo medio) sufre una transición vítrea, pero cuando se aplica un campo, el llamado estado fundamental vítreo desaparece y la red obtiene un mínimo global único.
[1511.06485] El efecto del ruido de gradiente en el panorama energético de las redes profundas
https: //pdfs.semanticscholar.org…
Y hay un trabajo interesante de Surya Ganguli de Stanford
Aquí, simplemente señalo que, de manera similar a las ideas de UCLA (que no conocía cuando escribí mi primera publicación en el blog), el Paisaje Energético también se ‘trivializará’ si el modelo subyacente de vidrio giratorio está fuertemente correlacionado ( en lugar de ser solo un campo medio). Esto se conoce desde hace algún tiempo en el contexto del plegamiento de proteínas como el vaso giratorio de mínima frustración.
¿Por qué funciona el aprendizaje profundo?
Presenté estas ideas este verano (2106) en MMDS en UC Berkeley.
