Porque lo que hace Bagging es reducir la varianza de los algoritmos de aprendizaje inestables.
Un algoritmo de aprendizaje es un algoritmo que produce un clasificador a partir de un conjunto de entrenamiento. Y un clasificador es una función que asigna una clase a un nuevo objeto.
Se sabe que el error de un algoritmo de aprendizaje tiene tres componentes: el ruido, el sesgo y la varianza. En pocas palabras, el ruido es el error inevitable (error de Bayes), el sesgo es el error sistemático que se espera que haga el algoritmo de aprendizaje, y la variación mide la sensibilidad del algoritmo al conjunto de entrenamiento.
- ¿Qué es el WordNet? ¿Cuál es la relación entre WordNet y el algoritmo Leacock & Chodorow?
- ¿Cuál es el secreto de escribir buenos algoritmos?
- En los primeros días de la informática, ¿por qué tenían que implementar memoria de núcleo de ferrita en lugar de utilizar conjuntos de condensadores?
- ¿Cuál es la diferencia entre el algoritmo que venció a los humanos en el ajedrez y el algo que venció a los humanos en Go?
- Cómo agregar un contador de comparación para combinar la clasificación en Python
Un algoritmo de aprendizaje inestable es aquel en el que pequeños cambios en el conjunto de entrenamiento causan cambios significativos en el clasificador producido (gran variación). Es decir, cuando se perturba el conjunto de entrenamiento, los clasificadores respectivos funcionan de manera diferente.
Los algoritmos de aprendizaje que usan árboles de decisiones como representación son inestables. Y los clasificadores discriminantes lineales son estables. Para ser más exactos: los clasificadores discriminantes lineales tienen una propiedad de estabilidad más sensible, la estabilidad de un clasificador lineal (o cualquier otro clasificador) es proporcional al tamaño del conjunto de entrenamiento e inversamente proporcional a la dimensionalidad de las instancias.
Para una discusión avanzada sobre este tema, puede consultar las siguientes fuentes:
– Ensacado para clasificadores lineales; Marina Skurichina y Robert Duin, (Informe técnico)
– Empaquetado, refuerzo y el método de subespacio aleatorio para clasificadores lineales; Marina Skurichina y Robert Duin, (Análisis de patrones y aplicaciones, 2002)
