¿Qué significa cuando obtengo buenos resultados de la medida F con un CV de 10 veces pero resultados pobres en los datos de la prueba, resultados similares si participo el conjunto de datos original en el conjunto de entrenamiento / validación? Obtengo buenos resultados en la validación pero malos resultados en el conjunto de pruebas.

Mantendré mi respuesta general para clasificación o regresión:

En general, se supone que su modelo tiene un buen desempeño en el conjunto de entrenamiento (bueno porque está entrenado en él) y un poco pobre en el conjunto de prueba.

Ahora, cuando su modelo se desempeña muy mal en el conjunto de prueba y funciona bastante bien en el conjunto de entrenamiento, eso significaría que puede haber un problema de sobreajuste.

Entonces, lo primero que debe hacer es usar la regularización si aún no lo está haciendo. O también podría intentar obtener más datos, ya que cuando el modelo tiene una gran varianza, más datos podrían ayudar.

En su caso ahora, tiene un conjunto de validación donde su modelo está funcionando bien y el conjunto de prueba donde está funcionando mal, por lo tanto, el problema puede ser diferente, por lo que, después de la regularización, lo siguiente sería cambiar su conjunto de prueba ( si su modelo no depende del tiempo) porque podría ser posible que su conjunto de prueba simplemente no sea representativo . Por lo tanto, si todas sus instancias son independientes entre sí (en otras palabras, cada fila en la matriz de diseño es independiente entre sí), entonces revuélvalas y luego intente hacer los mismos experimentos.

Otra cosa que hacer sería mirar otras métricas además de la medida F, ya que eso podría darle una idea de cuál podría ser el problema.

Por último, haga lo siguiente para corregir su CV: No separe su conjunto de prueba mientras realiza el CV. En su lugar, haga una validación cruzada en todo el conjunto y observe el error promedio. Asegúrese de barajar las instancias antes de hacer el CV y ​​asegúrese de que no haya superposición en los pliegues. Esto último no es para mejorar sus resultados, pero generalmente así es como se hace el CV, a menos que esté haciendo CV para ajustar otro parámetro, digamos el parámetro de ajuste para la regularización. Por lo tanto, informar el error promedio del CV en todo el conjunto generalmente parece ser una práctica aceptada en la academia al informar los resultados.

Buena suerte 🙂

Más probable:
Su conjunto de prueba no es representativo. Su entrenamiento y conjunto de pruebas se dividieron de alguna manera que hace que esta sea una mala prueba. Esto sucede todo el tiempo, especialmente con pequeños conjuntos de datos. Especialmente si hiciste tu división original con respecto a la fecha o hiciste algo más que una mezcla aleatoria global antes de hacer tu división de prueba / tren. Esto sucede con mucha frecuencia.

También es probable:
Tu modelo es muy frágil. La gente realmente no se da cuenta de esto, pero al crear un conjunto de validación te estás dando permiso para sobreajustarte. Suponiendo que está pasando por su pase de validación, ejecutando algún tipo de optimización de hiperparámetro para obtener su puntaje de validación, esto puede significar que es muy fácil cambiar su modelo de modo que se sobreajuste según sus puntajes de validación.

Especialmente en los casos en que tienes muchos parámetros y un pequeño conjunto de datos, es muy probable que encajes en la segunda categoría.

Dicho esto, (casi) siempre habrá alguna regresión entre su validación y el conjunto de pruebas. No debería ser grande, pero definitivamente existirá dependiendo del modelo que elija.

Resolver:
Lo más fácil será hacer una mezcla aleatoria y un muestreo robusto para asegurarse de que su tren y el conjunto de prueba sean comparables.

Si se trata de un conjunto de datos pequeño, debe reducir la cantidad de pliegues en su CV. Básicamente, este es un problema de sobreajuste, y agregar datos reduce su capacidad / penalización de sobreajuste.