¿Por qué no es una buena idea tener el mismo tren y equipo de prueba?

Debido a que el aprendizaje automático al final del día se trata de generalizar y poder aplicar patrones en los datos de entrenamiento a los nuevos tipos de datos que un sistema puede encontrar. Si entrena su modelo con un conjunto de entrenamiento y lo prueba con ese mismo conjunto, ¡por supuesto, su modelo funcionará bien! Desea evaluar el rendimiento de su modelo en un conjunto de datos que nunca antes había visto.

En muchos sentidos, puede pensarlo como la forma en que aprendemos y estudiamos para un examen. Los profesores a menudo dan exámenes de muestra a los estudiantes para darles la oportunidad de estudiar mejor, pero si el profesor decide tener el mismo examen de muestra que el examen real para los estudiantes, puede apostar que casi todos los estudiantes aprobarán el examen. No sería una medida precisa del conocimiento real del estudiante. La mejor manera de evaluar a los estudiantes es con un examen que sigue la misma estructura, pero que tiene problemas que los estudiantes nunca antes habían visto. Del mismo modo, la mejor manera de probar un modelo de aprendizaje automático es probarlo con datos que el modelo nunca haya visto antes, pero cree que todavía tiene alguna estructura subyacente que el modelo puede aprender a través de la capacitación.