¿Cuál es el significado / interpretación de la varianza de validación cruzada?

Escribí algunos documentos sobre la imposibilidad de estimar correctamente (es decir, de manera imparcial = correcto en promedio) la varianza de la validación cruzada. Esto surge porque los diferentes pliegues se superponen. Ver http://www.iro.umontreal.ca/~lis… y http://www.iro.umontreal.ca/~lis…. La incertidumbre en la medición proviene de dos fuentes: (a) la elección particular (aleatoria) de ejemplos de entrenamiento (de la distribución subyacente que los genera), y (b) la elección particular (aleatoria) de ejemplos de prueba (de la misma distribución , generalmente). Ambos (1) y (2) anteriores combinan ambas fuentes de variación. Si tiene un pequeño conjunto de datos y desea evaluar cómo el ALGORITMO DE APRENDIZAJE se generalizaría en OTROS datos de capacitación, entonces (a) puede ser importante. Por otro lado, si tiene muchos datos y desea saber cómo funcionaría su FUNCIÓN capacitada en otros datos de prueba, entonces es suficiente usar un conjunto de prueba extendido, en el que la verdadera variación del error medio de la prueba puede estimarse fácilmente si los ejemplos son iid (p. ej., tome la varianza empírica de los errores de prueba y divida por el número de ejemplos de prueba). En aplicaciones industriales, la última configuración es más común. En la investigación de Machine Learning, el primero puede ser el foco, y tenemos que conformarnos con una estimación de varianza insatisfactoria. Los documentos anteriores discuten el hecho de que algunos estimadores están sistemáticamente sesgados de manera incorrecta (subestimando la varianza).