Durante la validación cruzada k-fold, ¿cuáles son algunas soluciones posibles cuando la varianza de las estimaciones de error de prueba es muy alta?

Si este es un caso en el que se utilizó una forma funcional incorrecta y el modelo está sobreajustando el conjunto de entrenamiento, entonces haría bien en encontrar una mejor función que sea más representativa del sistema. Alternativamente , puede tener el modelo correcto pero demasiado ruido en sus datos. En este caso, podría beneficiarse de la poda de sus datos después de descubrir qué es lo que el proceso de capacitación está recogiendo erróneamente.

A menudo es útil examinar la situación antes de elegir un enfoque . Puede probar diferentes formas funcionales al azar, con la esperanza de un mejor ajuste. Este es un enfoque válido si el costo / tiempo que lleva intentarlo es bajo, como cuando hay acceso a bibliotecas. Si se trata de una situación sencilla del tipo de tarea, las siguientes dos cosas generalmente lo ayudan a avanzar:
1) Visualizar los datos. Esto ayuda a validar sus hipótesis.
“Los datos siguen una distribución X, no Y (modelo incorrecto)”.

“Los parámetros A, B, D son predictores significativos, pero no el parámetro C (demasiado ruido)”

2) Sumérgete más en los datos. Puede intentar averiguar si el modelo se descompone de manera predecible ejecutando más pruebas de validación en los datos elegidos a mano. También hay conocimiento sobre el sistema que se puede obtener al examinar los datos subyacentes y pensar en ellos.
“Nuestro modelo se descompone catastróficamente para este grupo de puntos de datos, pero parece funcionar mejor en otros lugares”

“Hay muchas variables discretas en estos datos, tal vez pueda probar un modelo diferente”

Si este es un problema que no fue diseñado para ser fácil de resolver, aquí hay algunas diapositivas de una breve conferencia del entonces profesor de Stanford Andrew Ng sobre el diagnóstico de problemas y las formas de abordarlos.

http://cs229.stanford.edu/materi …

Intente barajar sus datos antes de la validación cruzada para asegurarse de que cada pliegue tenga una representación uniforme de todas las partes de los datos.