Incluso utilizando un conjunto de validación, ¿no estamos tratando de maximizar los resultados en el conjunto de prueba? ¿Y al final sobreajustando?

Para evitar 1) sobre ajuste 2) pérdida de información, esto es lo que hago.

como dijo Matthew Lai: “Usamos el conjunto de entrenamiento para ajustar los parámetros, el conjunto de validación para ajustar los hiperparámetros y el conjunto de prueba para elegir qué modelo usar”.

PERO una vez que lo he hecho, fusiono todos los conjuntos y vuelvo a estimar los parámetros. Evita el ajuste excesivo de los parámetros en uno de los tres conjuntos. Desde un punto de vista práctico, siempre me ha parecido bien.

Teóricamente sí. Pero es un nivel tan alto que generalmente no nos preocupamos por sobreajustar en ese nivel.

Usamos el conjunto de entrenamiento para ajustar los parámetros, el conjunto de validación para ajustar los hiperparámetros y el conjunto de prueba para elegir qué modelo usar.

Podemos sobreajustar fácilmente los parámetros porque hay una gran cantidad de grados de libertad. Es por eso que tenemos un conjunto de validación para evitar eso.

A veces podemos sobreajustarnos en hiperparámetros (aunque es mucho más difícil), y es por eso que tenemos un conjunto de pruebas para evitar eso.

Teóricamente podemos sobreajustar en la elección de la arquitectura del modelo, y podemos tener otra partición para evitar eso, pero dado que generalmente solo tenemos unas pocas arquitecturas de modelos para elegir, el riesgo de sobreajustar no es tan alto.