¿Qué es exactamente el sobreajuste y por qué preferimos modelos que no están sobreajustados incluso cuando los resultados son mejores?

Sin entrar en los detalles de las matemáticas subyacentes del sobreajuste, permítanme ofrecer una explicación simple de por qué sucede y cómo afecta a su modelo.

Digamos que viajas a una ciudad imaginaria llamada SuperHelpfulVille. La gente de esta ciudad es muy servicial y siempre te da alguna respuesta cuando tienes una pregunta.

Llegas al aeropuerto, preguntándote en qué hotel deberías elegir quedarte. Dado que la gente de SuperHelpfulVille es una gran lectora de mentes, terminas en una situación en la que estás parado en la acera, rascándote la cabeza y de repente , todo el mundo te ofrece una sugerencia sobre dónde deberías quedarte en la ciudad. De las 1000 personas presentes en el aeropuerto, 600 sugieren que te quedes en la parte norte. 200 sugieren que te quedes en el oeste. Resto 200 tienen sus propias sugerencias individuales. Cada sugerencia afectará su decisión. Pero en una situación realista, ¿tendrá en cuenta la opinión de cada persona? Probablemente no. Uno pensaría: oye, la mayoría de la gente simplemente sugiere el norte y el oeste, decidamos entre esas áreas. ¿Qué pasará si prestas atención a los consejos de todas las personas que están presentes allí? Estarás atrapado en el proceso de decisión por mucho tiempo.

Del ejemplo anterior, las sugerencias individuales fueron ruido, que un modelo de aprendizaje no debería pesar demasiado. Un modelo de aprendizaje ideal debería limitar la influencia, la aparición de pequeños puntos de datos, sobre el gradiente, y ser bastante genérico.

El sobreajuste provoca un deterioro severo en el rendimiento. Aún se puede lograr una gran precisión mediante la regularización de los datos, un proceso que evita el sobreajuste. Al igual que aún puede decidir sobre un gran hotel, sin escuchar a todas las personas en el aeropuerto.

TL; DR Overfitting no aumenta esencialmente la precisión en la misma proporción, ya que degrada el rendimiento. La regularización puede evitar la degradación del rendimiento inducida por sobreajuste y aún así mantener una buena precisión.