¿Tiene sentido tener un conjunto de validación y realizar una validación cruzada al construir modelos?

Al desarrollar un modelo ml (algoritmo), la mejor práctica es usar los datos de validación cruzada (CV) para seleccionar el mejor modelo de una serie de candidatos modelo, y usar los datos de prueba para verificar qué tan bien se generalizó el algoritmo. Además, puede utilizar los datos de CV para seleccionar parámetros dentro del modelo seleccionado. Dado que los datos de CV se han utilizado para modificar el modelo ml, no lo usaría para realizar pruebas. Entonces 60–20–20 puede ser una partición entre tren, CV y ​​prueba. Por supuesto, reducir el conjunto de entrenamiento puede reducir el rendimiento del aprendizaje. Al analizar el error de entrenamiento y el error CV, puede determinar si el algoritmo sufre un ajuste insuficiente o excesivo. Recolectar más datos de entrenamiento o aumentar el parámetro de regularización lamda puede ayudar a reducir el sobreajuste. Siempre podría tratar de obtener más datos de entrenamiento si pudiera. Usar todos los datos para el entrenamiento final probablemente no sea una buena idea. Sin datos de prueba, todavía está ciego en el rendimiento final. Por cierto, en el dominio de dispositivos médicos, la FDA, como organismo regulador, puede no permitir que un dispositivo entrene en datos de prueba si planea colocar el dispositivo en el mercado estadounidense.