¿Qué es una explicación intuitiva de bosques aleatorios?

Los bosques aleatorios son un ejemplo de la idea de conjunto aplicada a los árboles de decisión.

Un método ampliamente utilizado y efectivo en el aprendizaje automático implica la creación de modelos de aprendizaje conocidos como conjuntos. Un conjunto toma múltiples modelos de aprendizaje individuales y los combina para producir un modelo agregado que es más poderoso que cualquiera de sus modelos de aprendizaje individuales. ¿Por qué son efectivos los conjuntos? Bueno, una razón es que si tenemos diferentes modelos de aprendizaje, aunque cada uno de ellos puede funcionar bien individualmente, tenderán a cometer diferentes tipos de errores en el conjunto de datos. Y, por lo general, esto sucede porque cada modelo individual puede ajustarse en exceso a una parte diferente de los datos. Al combinar diferentes modelos individuales en un conjunto, podemos promediar sus errores individuales para reducir el riesgo de sobreajuste mientras mantenemos un fuerte rendimiento de predicción.

Una desventaja de usar un solo árbol de decisión es que los árboles de decisión tienden a ser propensos a sobreajustar los datos de capacitación. Como su nombre lo sugiere, un bosque aleatorio crea muchos árboles de decisión individuales en un conjunto de entrenamiento, a menudo del orden de decenas o cientos de árboles. La idea es que cada uno de los árboles individuales en un bosque aleatorio debería predecir razonablemente los valores objetivo en el conjunto de entrenamiento, pero también debería construirse para ser diferente de alguna manera de los otros árboles en el bosque. Nuevamente, como su nombre sugiere, esta diferencia se logra al introducir una variación aleatoria en el proceso de construcción de cada árbol de decisión.

Esta variación aleatoria durante la construcción de árboles ocurre de dos maneras. Primero, los datos utilizados para construir cada árbol se seleccionan aleatoriamente y segundo, las características elegidas en cada prueba de división también se seleccionan aleatoriamente

La siguiente diapositiva presenta cómo funcionan los bosques aleatorios. Traté de hacerlos muy fáciles de entender. Si los encontraste interesantes, puede que te guste la introducción completa que hice sobre Machine Learning aquí. ¡Espero que te guste!

Me gusta la analogía del mármol. Tome dos bolsas de canicas (una para individuos, otra para variables) y tome un puñado de cada bolsa. Úselos para hacer inferencias sobre ese conjunto. Repita esto muchas veces y compare los resultados entre las muestras. Esto es esencialmente lo que hace el bosque aleatorio (y muchos otros métodos de ensacado), con la inferencia realizada a través de árboles de decisión.