¿Cuál es la diferencia entre bootstrapping y validación cruzada?

Si no tiene muchos datos para entrenar su modelo, puede confiar en bootstrapping donde muestreará repetidamente los datos con reemplazo. Es como seleccionar 100 muestras de 150 muestras volviendo a colocar la muestra seleccionada antes de elegir la siguiente muestra al azar. Luego puede entrenar su modelo en los diferentes conjuntos que tiene para obtener una medida de precisión.

La validación cruzada es un método para medir el rendimiento de un solo modelo en diferentes conjuntos de datos. Aquí, los diferentes conjuntos de datos se eligen dividiendo el conjunto de entrenamiento en, digamos, 10 divisiones. Luego, entrena en el conjunto de datos compuesto por 9 divisiones y lo prueba en la décima división. Repita este rendimiento 10 veces (cada vez que elija una división de prueba diferente) y luego promedie la precisión del modelo en 10 divisiones de prueba diferentes. La validación cruzada puede sufrir sesgos o variaciones según el tamaño y el número de divisiones.

Me refiero directamente a este documento

La validación cruzada es una técnica para validar el rendimiento de un “modelo” para asegurarse de que no estamos ajustando demasiado el conjunto de datos de capacitación. Implica dividir el conjunto de datos de entrenamiento y entrenamiento y pruebas en diferentes partes del conjunto de datos

Bootstrap se usa más bien para estimar la varianza de un parámetro / estimación. Es una forma de simular la “distribución correcta”. Sin embargo, dado que la distribución es desconocida, necesitamos repetir algunos puntos de datos para asegurarnos de que podemos crear estas muestras a partir de un conjunto de datos limitado.

En resumen, la validación cruzada “divide” el conjunto de datos disponible para crear múltiples conjuntos de datos, y Bootstraps “clona” o extrapola los conjuntos de datos originales para crear múltiples conjuntos de datos. Bootstrap no es una técnica de validación de modelo o es más débil que validación cruzada si se usa para la validación del modelo.

Realmente espero que alguien pueda dar una mejor respuesta. Tengo entendido que tienen diferentes orígenes. Bootstrap proviene de estadísticas más tradicionales. Literalmente significa “atrapamiento de botas”: los datos se muestrean con reemplazo como si tiraras de las botas cuando estás atrapado en el barro (no me preguntes sobre la metáfora, soy chino …). La validación cruzada es que usa parte de los datos para predecir la otra parte, por lo general, los conjuntos de datos no deben superponerse. Pero definitivamente puedes mezclar las dos técnicas.

Bootstrapping es un método para evitar el sobreajuste al tomar el promedio (o cualquier otro método de combinación como la regresión) de los modelos más pequeños (generados por pequeños n subconjuntos aleatorios de datos de entrenamiento total).

La validación cruzada es un método para probar la precisión de su modelo único en datos de entrenamiento de subconjuntos pequeños seleccionados al azar. Puede ser útil ajustar los hiperparámetros para generalizar el modelo.