¿La validación cruzada más pequeña siempre es un indicador de un mejor modelo predictivo incluso si un modelo predictivo tiene una gran cantidad de parámetros?

No necesariamente, si entiendo tu pregunta correctamente. Por una validación cruzada “más pequeña”, supongo que te refieres a usar menos variables / predictores. Como he dicho en otras respuestas, el modelado predictivo es a menudo tanto arte como ciencia. Por lo tanto, lo que constituye un modelo “mejor” no siempre es cortar y secar. Por ejemplo, uno de mis profesores me explicó una vez que, dados dos modelos con un poder predictivo similar, a veces sería preferible usar el modelo más fácil de explicar, incluso si fuera un poco menos predictivo porque, a menudo, el análisis predictivo es tanto sobre contar la historia de los datos, ya que se trata de descifrar números. Puede haber ocasiones en las que incluya variables en un modelo que tengan poco poder predictivo porque son las que los no estadísticos esperarían intuitivamente que se incluyan y no incluirlas pondrían el modelo en cuestión y / o requerirían mucha explicación.

Entonces, tl; dr, un modelo más pequeño (menos variables) o una validación cruzada más pequeña no siempre es mejor. Pero, si todo lo demás es igual, cuantas menos variables sean necesarias para lograr un determinado nivel de poder predictivo, mejor.

Supongo que la respuesta inevitable a la mayoría de “es … siempre-preguntas” es no , o al menos no necesariamente . En mi opinión, esta también sería la respuesta aquí. Permítanme señalar una premisa general que creo que a menudo se pasa por alto, incluso cuando se tiene cuidado al probar modelos.

Nuevas palabras y nuevos usos de las palabras surgen todo el tiempo. Sin embargo, a un ritmo más lento de lo que podría sospecharse. Al mismo tiempo, la cosa, que es significativamente diferente, es el vocabulario activo que caracteriza diferentes dominios. La lista de palabras más frecuentes es fundamentalmente lo que caracteriza el género de un dominio semántico. Por lo tanto, incluso el mejor ajuste (tal vez obtenido por una gran cantidad de parámetros) no es relevante si el modelo se va a utilizar en un dominio semánticamente diferente.

Desafortunadamente, los dominios semánticos no siguen simplemente líneas formales.

Validación cruzada (estadísticas) – Wikipedia