Entreno mi sistema basado en el marco de validación cruzada 10 veces. Ahora me da 10 modelos diferentes. ¿Qué modelo seleccionar como representante?

El enfoque estándar es volver a entrenar en todo el conjunto de datos y utilizar ese modelo para hacer predicciones en el conjunto de pruebas. Eso suele ser un enfoque razonable.
Sin embargo, en un problema de alta varianza, es posible que desee utilizar cada modelo generado por uno de sus k pliegues para no solo estimar el error en el k-ésimo pliegue, sino también para hacer predicciones en el conjunto de prueba. Terminaría con k predicción para el conjunto de pruebas que luego promediaría, y eso podría ayudar a reducir la varianza. Esencialmente estás usando embolsado.
Para problemas de alta varianza, puede llevar este proceso más allá, esencialmente creando un proceso aleatorio donde promedia decenas o cientos de predicciones seleccionando aleatoriamente observaciones para entrenar el modelo (con o sin reemplazo), así como características (y posiblemente aleatorizando la elección de hiperparámetros dentro de los rangos dados). En cada iteración, haría una predicción de los datos de prueba utilizando un subconjunto diferente de filas y columnas. En ciertos casos esto funciona muy bien.
Obviamente, hay un problema de escalabilidad (capacitación y puntuación posiblemente en cientos de modelos). También deberá averiguar cuáles son los parámetros óptimos para subconjuntar filas y columnas.
Esta es una técnica de Kaggle muy común utilizada por Kaggle Masters, pero la he usado solo un par de veces en un entorno comercial, principalmente debido al problema de escalabilidad.

Utilice la validación cruzada para seleccionar hiperparámetros. Una vez que estén determinados, vuelva a entrenar su modelo con todo el conjunto de datos de entrenamiento y luego evalúelo en un conjunto de datos de prueba independiente.
El propósito es utilizar tantas muestras de entrenamiento como sea posible, ya que a menudo son escasas .
Siempre conserve un conjunto de datos de prueba independiente que nunca se utilizará para el ajuste de parámetros. O de lo contrario, su resultado será demasiado optimista.

Estoy de acuerdo con el usuario de Quora. Cree su medida relevante de dominio (o use la puntuación F) y cree una cuadrícula de hiperparámetros. Hacer validación cruzada en la cuadrícula. Elija el modelo que le brinde la mejor medida. Use sus hiperparámetros para entrenar en un conjunto de datos completo.

Es mejor (en mi opinión) dividir el conjunto de entrenamiento en 80% de entrenamiento y 20% de prueba dado que tiene una gran cantidad de datos y tomar el 20% no perjudica a su modelo. O incluso mejor 60% 20% 20%, que es entrenamiento, validación cruzada y prueba. Usted entrena su modelo en el conjunto de entrenamiento y luego realiza la validación cruzada con el conjunto de validación cruzada. Una vez que su modelo está en su máxima precisión utilizando el conjunto de validación cruzada, entonces evalúa para obtener la precisión “real” con el conjunto de prueba.