Hay una suposición incorrecta en la pregunta. El algoritmo de refuerzo se sobreajusta. De hecho, como ejemplo, se sabe que los árboles de decisión potenciados por gradientes, que utilizan el refuerzo, se sobreajustan más que los bosques aleatorios, que utilizan el embolsado. Esto realmente nos acerca a entender lo que está sucediendo. Como se explica en The Boosting Margin, o Why Boosting Doesn’t Overfit (gracias Shehroz Khan por el enlace), la improbabilidad de sobreajustar no es una propiedad de impulsar, sino de conjuntos o esquemas de votación per se. Puede comprender esto simplemente pensando en el hecho de que es más fácil engañar a un solo experto por la falta de datos suficientes que engañar a varios expertos, incluso si esos no son tan buenos como el original.
Entonces, sí, impulsar, como la mayoría de los otros métodos de conjunto, reduce la probabilidad de sobreajuste. Pero, todavía puede sobreajustar, y en algunos casos lo hace más que los enfoques alternativos.
Shehroz Khan dio una muy buena respuesta, con una serie de buenos consejos. Para más detalles, deberías ir a leer el suyo.
- ¿Cuál es la diferencia entre la función de aptitud del algoritmo genético y la función de pérdida del descenso de gradiente?
- ¿Cómo funciona el retroceso en el caso de encontrar un subconjunto de una suma particular?
- ¿Qué es un árbol rojo-negro?
- ¿Cómo explicaría el Control de concurrencia de versiones múltiples en términos simples?
- ¿Le da un algoritmo no recursivo que realiza un trabajo de árbol de orden?
