¿Qué debo hacer si determino que los resultados de mi conjunto de datos de entrenamiento difieren mucho de los resultados de mi conjunto de datos de prueba?

Contestaré esto con un anectodo que Yann LeCun me contó cuando nos conocimos. Desarrolló Redes neuronales en los años 90 cuando estaba trabajando en el desafío de clasificación de personajes organizado por NIST. Al igual que en las competencias de kaggle en la actualidad, a los investigadores se les proporcionó un conjunto de imágenes de entrenamiento para desarrollar su algoritmo, y se les exigió que presentaran los resultados en un conjunto de pruebas independiente proporcionado más adelante. En la etapa inicial, Yan estaba muy contento con su algoritmo y estaba bastante seguro de su puntaje en esta competencia ya que sus resultados en el conjunto de validación parecían fomentar grandes resultados. Fue un gran shock para él, cuando presentó resultados en el conjunto de pruebas y parecía haber tenido un desempeño muy pobre en la clasificación. No solo él, sino que todos los algoritmos presentados en la competencia parecían no ser capaces de alcanzar un rendimiento satisfactorio, con una tendencia de métodos más simples para superar a los más complejos. Después de unos días, resultó que las imágenes en el conjunto de entrenamiento eran mucho más limpias y fáciles de reconocer que las del conjunto de prueba. La razón es que el conjunto de capacitación se recopiló entre los ansiosos empleados de la Oficina del Censo, mientras que el conjunto de prueba se recopiló entre los estudiantes de secundaria que no se preocupaban demasiado por escribir dígitos legibles. Una suposición de la teoría del aprendizaje supervisado es que sacar conclusiones sensatas de los experimentos de aprendizaje requiere entrenamiento y conjunto de pruebas que se extraigan de la misma distribución. Por lo tanto, Yann decidió construir una nueva base de datos mezclando los conjuntos de datos de NIST (entrenar y probar) que se convirtió en el famoso conjunto de datos de MNIST (M significa modificado).