¿Cuál es la diferencia entre validación y validación cruzada?

Validación :

La validación es como dividir un conjunto de datos en dos subconjuntos complementarios diferentes. Luego, use un subconjunto para el entrenamiento y otro subconjunto para las pruebas. El subconjunto de pruebas nunca se está entrenando aquí.

Validación cruzada:

Es como dividir un conjunto de datos en k número de subconjuntos. En una época, use los subconjuntos de datos k-1 para la capacitación y use el conjunto de datos restante para las pruebas. De esta manera, para cada conjunto de datos de pruebas de época será diferente, pero estará fuera de esos k subconjuntos de datos. Esto también se llama validación cruzada de plegado en k .

Ventajas

En general, para construir los modelos de aprendizaje automático, los datos son el combustible. Es muy poco probable que podamos encontrar un conjunto de datos muy grande para construir un modelo eficiente. En caso de escasez de datos (que es la situación normal), si estamos procediendo con la validación normal, casi estamos reduciendo el tamaño del conjunto de datos en casi un 20-30%. En caso de validación cruzada k-fold , no habrá tal tipo de reducción en el tamaño del conjunto de datos. Y más al hacer k-fold cv , se puede evitar un ajuste excesivo.

Antecedentes: la validación y la validación cruzada se utilizan para encontrar los hiperparámetros óptimos y, en cierta medida, para evitar el sobreajuste.

Validación:

El conjunto de datos dividido en 3 conjuntos de capacitación, pruebas y validación. Entrenamos múltiples modelos con diferentes hiperparámetros con la ayuda del conjunto de entrenamiento y luego probamos el modelo con el conjunto de validación. Se seleccionan esos hiperparámetros que ofrecen un buen rendimiento en el conjunto de validación. Luego usamos el conjunto de prueba para probar el rendimiento del modelo y obtener el error de generalización.

Validación cruzada:

El conjunto de datos dividido en 2 partes. Uno es “Prueba” y el otro por nombrar, llamémoslo X. Este conjunto X se divide al azar en conjuntos complementarios. Tenemos muchos modelos con diferentes hiperparámetros y cada modelo está entrenado contra diferentes combinaciones de estos subconjuntos y validado contra las partes restantes. Los hiperparámetros que dan los mejores resultados se utilizan aún más. El modelo final se entrena utilizando estos hiperparámetros en el conjunto completo de entrenamiento ( X ), y el error generalizado se mide en el conjunto “Prueba”.

Cuando el conjunto X se divide aleatoriamente en K subconjuntos y se usa diferente ( K-1 ) para entrenar modelos con diferentes hiperparámetros y la remanidación se usa para validación, se llama Validación cruzada K-Fold .

La ventaja de usar la validación cruzada es que vemos que no estamos desperdiciando ningún dato. En Validación, los datos que se usan para la validación se desperdician y nunca se usan para el entrenamiento, pero en CV utilizamos el conjunto de validación también para el entrenamiento debido a la manipulación inteligente que usamos. Los datos son realmente importantes para nuestro modelo y, por lo tanto, debe usarlos con prudencia.

More Interesting

Estoy tratando de evaluar el rendimiento del modelo (regresión). En la literatura, algunos usan RMSE y otros usan correlación. ¿Hay alguna diferencia entre ambos enfoques?

¿Qué es el análisis de componentes principales?

¿Algunas funciones de activación son mejores que otras en la red neuronal artificial?

¿Qué empresas o agencias utilizan (d) Vader para el análisis de sentimientos?

Cómo hacer clustering para datos categóricos

¿Qué es un codificador / decodificador en aprendizaje profundo?

¿Qué es un modelo oculto de Markov - Red neuronal artificial (HMM-ANN)?

Cómo recopilar datos para problemas de la vida real mientras se entrena un modelo de aprendizaje automático

¿Cuáles son las cosas básicas que debe saber un ingeniero informático antes de aprender sobre ciencia de datos y aprendizaje automático?

¿Cuáles son algunos temas de investigación matemáticamente rigurosos en aprendizaje automático y aprendizaje profundo en la actualidad?

¿Cuál es la mejor biblioteca de aprendizaje profundo en la etapa actual para trabajar en grandes datos? ¿Cuáles son algunas alternativas para las bibliotecas a gran escala?

¿Es fácil entrenar un modelo de red neuronal profunda desde cero usando Keras?

Como persona con una maestría en química y un doctorado en ingeniería eléctrica y nanotecnología, a los 26 años sin experiencia en ciencias de la computación, ¿es demasiado tarde o demasiado difícil enseñarme a mí mismo el aprendizaje automático?

¿Cómo puedo evitar el sobreajuste?

¿De qué trata el proyecto de aprendizaje profundo de Google / Google Brain?