En el algoritmo de bosque aleatorio, ¿por qué el árbol seleccionado al azar supera al árbol de decisión de mejor pensamiento?

No lo haría Incluso un bosque aleatorio no puede realizar un árbol “Oracle”.

Nadie dice que la aleatorización per se te da nada. La aleatorización ayuda a evitar el sobreajuste cuando no tienes suficientes datos de entrenamiento.

Entonces, si sabe cómo se generan los datos (o tiene conocimiento previo sobre los datos), entonces, por todos los medios, continúe y codifique ese conocimiento en un árbol de decisión hecho a mano. Dependiendo del problema, es posible que siempre obtenga una precisión del 100%.

Sin embargo, si está aprendiendo completamente de los datos y es una función complicada y, en consecuencia, no tiene suficientes datos de entrenamiento, entonces los conjuntos de árboles de decisión aleatorios funcionan bastante bien. Hay pruebas matemáticas que muestran los beneficios del embolsado.

Al aprender de los datos, si tiene toneladas de datos, por lo que esa variación no es un problema, podría valer la pena hacer una búsqueda exhaustiva, simultáneamente para la estructura de árbol y conjuntamente todos los nodos de decisión, si tiene suficiente recursos disponibles para construir un “árbol de decisión de mejor pensamiento”. Nadie se sorprenderá si dicho árbol supera (bosques de) árboles aleatorizados, es decir, aquellos que están optimizados con avidez para decisiones de nodo individuales. Pero hacer esa búsqueda (para aprender el árbol óptimo) es combinatoriamente costoso y se sale de control muy rápidamente, aún más en espacios de alta dimensión.

Los bosques aleatorios son un conjunto de árboles de clasificación individuales. Cada árbol da una clasificación, y decimos que el árbol “vota” para esa clase. El bosque elige la clasificación que tiene más votos (sobre todos los árboles en el bosque). Reduce la posibilidad de un ajuste excesivo. Con un solo árbol, podría ser propenso a un ajuste excesivo. No es universalmente cierto que los modelos de conjunto sean mejores que sus homólogos individuales. Solo funciona cuando los modelos individuales sufren de inestabilidad. Si todos los modelos individuales ya son estables, un modelo de bosque aleatorio puede reemplazarse fácilmente con un modelo único. Es aconsejable probar ambos en el conjunto de prueba. Verás victorias aleatorias de Bosques en la mayoría de los casos.

Eso no es lo que es el bosque al azar. Es un método de conjunto en el que los árboles se cultivan a partir de muestras de arranque de los datos. La diversidad de estas muestras da como resultado un sesgo y una varianza más bajos en todo el conjunto.