Este parece ser un caso clásico de sobreajuste. El sobreajuste a menudo se observa en los modelos de aprendizaje profundo. Puede considerar probar una de varias formas de abordar el problema. Sin embargo, con el tiempo, podrá tomar intuitivamente una decisión sobre lo que salió mal.
- Teniendo en cuenta la cantidad de datos que tiene, su modelo puede ser demasiado complicado para poder generalizar bien las salidas. Sugeriría simplificar el modelo . La reducción de la cantidad de parámetros necesarios para optimizar o ajustar durante el entrenamiento aumentará significativamente la precisión del tiempo de prueba debido a la reducción del sobreajuste.
- Los datos disponibles para el modelo que está utilizando (alrededor de 2k parece ser menor para el entrenamiento). Intentando obtener más datos si es posible. Puede generar sintéticamente nuevos datos utilizando diversas técnicas de aumento de datos , que incluyen rotación, escalado, traducción, desenfoque, etc.
- Utiliza la regularización. Modifique la función objetivo que minimizamos (la función de pérdida / costo) agregando términos adicionales que penalizan los pesos grandes. Cambiamos la función objetivo para que se convierta en Error + λf (θ) , donde f (θ) crece a medida que los componentes de θ crecen y λ es la fuerza de regularización (un hiperparámetro para el algoritmo de aprendizaje). El valor que elegimos para λ determina cuánto queremos proteger contra el sobreajuste. A λ = 0 implica que no tomamos ninguna medida contra la posibilidad de sobreajuste. Si λ es demasiado grande, entonces nuestro modelo priorizará mantener θ lo más pequeño posible en lugar de tratar de encontrar los valores de los parámetros que funcionan bien en nuestro conjunto de entrenamiento. Un tipo común de regularización es la regularización L2. La regularización es un enfoque genérico que se puede adaptar a muchos modelos, incluidos los enfoques convencionales de aprendizaje automático y no solo Deep Networks.
- Abandono Esta es una solución bastante buena, particularmente para modelos profundos. Se puede agregar una capa de abandono a su arquitectura. Se implementa manteniendo activa una neurona con alguna probabilidad p, o estableciéndola 0 de lo contrario. Intuitivamente, evita que la red modelo sea demasiado dependiente de cualquiera de las neuronas. Más matemáticamente, evita el sobreajuste al proporcionar una forma de combinar aproximadamente exponencialmente muchas arquitecturas de redes neuronales diferentes de manera eficiente.
El documento fuente. Producido por el gran Geoffery Hinton.
Abandono: una manera simple de evitar que las redes neuronales se sobreajusten , por Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan R. Salakhutdinov Journal of Machine Learning Research, 2014 - Para su tarea particular de clasificación de imágenes, imitar el número de capas de agrupación en su modelo también podría funcionar en algunos casos. Además, teniendo en cuenta las estadísticas de datos que mencionó, también puede considerar reducir una o dos capas completamente conectadas en caso de que su modelo sea demasiado denso.
Espero eso ayude. La mejor de las suertes 🙂
- Entre la codificación y la minería de datos, ¿qué es un buen trabajo?
- ¿Cuáles son algunos de los consejos, trucos y trucos en hadoop?
- ¿Hacer una certificación CCNA ayudará de todos modos en los campos de Big Data / Hadoop?
- ¿Qué trabajo se da a los estudiantes de primer año en el análisis de datos?
- ¿Mi experiencia en Java cuenta para Big Data?
