Esta pregunta fue respondida realmente en el siguiente documento (” Auto-Encoders convolucionales apilados para extracción de características jerárquicas “, Masci et al.).
Uno de sus hallazgos empíricos fue que, sin disminución de muestreo, la red a menudo aprendió soluciones triviales para el problema del autoencoder (que es el problema de aprendizaje cuando la entrada y la salida son las mismas). Esto sería cosas como aprender un mapeo de identidad de entrada a salida. Sin embargo, esto no debería ser demasiado sorprendente cuando lo piensas. Sin disminución de muestreo, no hay una buena razón por la cual la red debería querer aprender representaciones de características robustas para las entradas. Después de todo, la red puede lograr un menor valor de pérdida si solo aprende la identidad.
Comentario final: la disminución de muestras es solo una de las muchas formas de lograr que la red aprenda representaciones sólidas. La idea clave aquí es inyectar ruido para evitar que la red aprenda algo trivial. Entonces, en lugar de reducir el muestreo, también puede inyectar ruido en las entradas y hacer que pronostiquen una versión “limpia” de la entrada. Se sabe que funciona bien para aprender buenas representaciones de características en convnets.
- ¿Existe algún proyecto de datos abiertos que utilice el aprendizaje automático y la ciencia de datos para proporcionar información sobre los datos de incidentes de aplicación de la ley disponibles públicamente?
- Cómo saber si, durante el entrenamiento de un modelo de aprendizaje profundo, está en camino de encontrar un mínimo local mejor o no
- Andrew Ng: ¿Qué opinas de AlphaGo?
- ¿Cómo compararías hacer un doctorado en ML (principalmente aprendizaje profundo) en Duke, UC Irvine y Georgia Tech?
- ¿Puedo crear un programa de aprendizaje automático en otro idioma que no sea un flujo de tensor o scikit-learn?
