La teoría del aprendizaje automático ha sido históricamente importante para el desarrollo del campo. El impulso, el embolsado, la convergencia demostrable de modelos probabilísticos y las propiedades de las máquinas de vectores de soporte provienen de la teoría.
La teoría del aprendizaje automático está actualmente atascada en la explicación del aprendizaje profundo, que no tiene una base teórica sólida (por ejemplo, en comparación con los modelos gráficos probabilísticos). Hasta ahora, el alcance de la teoría es que el aprendizaje profundo no se atasca en los mínimos locales porque los puntos de silla tienden a ocurrir en lugar de los mínimos locales.
Si se construye una comprensión teórica del aprendizaje profundo, mi predicción es que conducirá a un ritmo acelerado de desarrollo en el aprendizaje profundo; pero al responder por qué funciona el aprendizaje profundo, las lecciones se aplicarán también a otros estilos de aprendizaje, acelerando también otros subcampos.
- ¿Cómo funciona el algoritmo de recomendación de filtrado basado en contenido?
- Dado el número de heurísticas arbitrarias involucradas, ¿por qué deberíamos tener tanta fe en las redes neuronales profundas?
- ¿Cómo es tomar 9.520 (teoría de aprendizaje estadístico) en el MIT?
- ¿Hacia dónde se dirige la investigación de aprendizaje profundo?
- ¿Qué se enseña en los cursos de posgrado de aprendizaje automático?
Alternativamente, otra área del aprendizaje automático se acelerará mediante un descubrimiento teórico y superará el aprendizaje profundo.
Sin embargo, esos son realmente los únicos dos caminos probables que veo desde aquí. Históricamente, la teoría ha sido cómo el aprendizaje automático escapa a los mínimos locales.
