¿Se consideran obsoletos los métodos de preentrenamiento sin supervisión y pre-entrenamiento codiciosos en capas para el aprendizaje profundo moderno? ¿Por qué o por qué no?

Se acepta que en los casos en que hay un exceso de datos, los modelos puramente supervisados ​​son superiores a los que utilizan métodos no supervisados. Sin embargo, en los casos en que los datos o el etiquetado son limitados, los enfoques no supervisados ​​ayudan a inicializar y regularizar adecuadamente el modelo, lo que proporciona un rendimiento mejorado.

La capacitación previa es esencialmente obsoleta, dado el éxito del aprendizaje semi-supervisado que logra las mismas metas de manera más elegante al optimizar simultáneamente objetivos no supervisados ​​y supervisados.

Aprendizaje semi-supervisado con Ladder Networks

Las respuestas dadas son buenas. El entrenamiento previo de una forma u otra es EXTREMADAMENTE útil en muchos entornos. Para el aprendizaje semi-supervisado, es mejor entrenar conjuntamente tanto con el objetivo supervisado como sin supervisar, como lo hicimos Hugo Larochelle y yo en nuestro documento de 2008 ICML sobre RBM discriminatorias. Vea también las redes Ladder y el reciente trabajo de ICML por Honglak Lee para obtener resultados bastante impresionantes (con pre-entrenamiento y entrenamiento conjunto, es decir, una forma de aprendizaje curricular).

Si entrena una red grande en un pequeño conjunto de datos etiquetado, se sobreajustará. El uso de entrenamiento previo sin supervisión evita este sobreajuste al proporcionar una buena inicialización para el modelo. En campos como Computer Vision, grandes conjuntos de datos etiquetados como Imagenet, MS COCO, están disponibles públicamente. Los modelos entrenados en estos conjuntos de datos también funcionan bien en otros conjuntos de datos. Por lo tanto, la mayoría de los investigadores de Computer Vision ya no utilizan pre-entrenamiento sin supervisión, y entrenan directamente sus modelos en estos grandes conjuntos de datos etiquetados.

La capacitación previa no supervisada sigue siendo relevante para las tareas para las que tenemos conjuntos de datos etiquetados pequeños y conjuntos de datos grandes sin etiquetar.

No los llamaría obsoletos, pero actualmente es el caso de que los modelos totalmente supervisados ​​son superiores a los no supervisados. Vea mi otra respuesta sobre el tema Respuesta de Amir Rosenfeld a ¿Cuál es el estado actual del aprendizaje no supervisado profundo?