¿Qué haces cuando tu modelo falla la validación cruzada?

Su modelo está demasiado ajustado. Intente reducir las variables o comience nuevamente por análisis exploratorio para reafirmar sus objetivos.

La muestra fuera de tiempo representa la utilidad de sus modelos. Su objetivo en última instancia es predecir algo que no haya sucedido antes. No tiene sentido ser preciso acerca de predecir el pasado.

Digamos que su modelo no tiene regularizador y funciona mal en el conjunto de prueba. Luego agrega un regularizador, y va y viene entre el entrenamiento y la validación cruzada para encontrar los hiperparámetros correctos para el regularizador, y finalmente, el modelo funciona en el conjunto de prueba. Incluso en este escenario, los parámetros reales del modelo no han utilizado los datos de validación, solo los hiperparámetros se deciden en función del rendimiento en el conjunto de validación. Los hiperparámetros son típicamente de muy pequeña dimensionalidad en comparación con los parámetros del modelo. No es posible que estos hiperparámetros “memoricen” el conjunto de validación. Por lo tanto, si un modelo funciona bien en el conjunto de validación después de múltiples rondas de validación cruzada, lo más probable es que el modelo no se ajuste demasiado al conjunto de entrenamiento, y también debería funcionar bien en el conjunto de prueba.