Cómo elegir el número de árboles en el aprendizaje automático

No está especificando de qué modelo está hablando: hay múltiples módulos de conjunto, con árboles impulsados ​​por gradientes y bosques aleatorios que son los primeros que se me ocurren.

En general, si el número de árboles es demasiado pequeño, debe tener un ajuste insuficiente, es decir, no exprimir todo el rendimiento que pueda. Por el contrario, por supuesto, tener demasiados resultados en el sobreajuste.

Dicho esto, los bosques aleatorios votan por lo que son bastante resistentes al sobreajuste (y muchas implementaciones de árboles potenciados en gradiente realizarán una validación cruzada antes de decidir si agregar un nuevo árbol al conjunto o no). En la práctica, es mejor tratarlo como otro parámetro más en el modelo: tenga listo un conjunto de validación y úselo para decidir cuántos árboles y qué altura. La teoría puede decirle que puede ser de alguna manera agresivo en el número de árboles, pero cualquier estimación del número real que no proviene de su conjunto de datos específico estaría sesgado 🙂

Una manera fácil es trazar la prueba MSE (error cuadrático medio) contra el número de árboles y elegir el punto en el que la prueba MSE alcanza el mínimo.

Por lo general, la prueba MSE caerá a medida que el número de árboles aumente de un número pequeño y después de alcanzar el punto óptimo, la curva se mantendrá estable o incluso subirá un poco. La forma de la línea dependerá de los datos en su mano.

Otras formas incluyen graficar el puntaje CV contra el número de árboles, la búsqueda de cuadrícula para el ajuste de parámetros y la canalización para la selección del modelo.

More Interesting

Como todos están aprendiendo el aprendizaje automático y el aprendizaje profundo ahora, ¿debería adoptar un enfoque diferente para centrarme en un área específica, como la programación de gráficos o una más general, como el desarrollo de backend?

¿Por qué no hay implementaciones de aprendizaje profundo (populares) escritas en Golang?

¿Hay un grupo de investigadores trabajando en la síntesis de texto EEG (conversión de pensamiento a texto)?

¿Puedo aprender ML por mi cuenta?

¿Cómo se usa el aprendizaje automático en la generación de preguntas?

¿Qué matemáticas se necesitan para este curso de aprendizaje automático?

¿Cuál es el propósito de visualizar las capas de activación en una arquitectura de red neuronal convolucional?

¿Cuáles son las relaciones entre el aprendizaje automático, el aprendizaje profundo, el aprendizaje supervisado y el aprendizaje no supervisado?

¿Cuál es la mejor manera de hacer un análisis de sentimientos de los datos de Facebook en Java?

¿Cómo se puede hacer la experimentación de aprendizaje profundo en una PC en casa?

¿Cómo escriben las personas pruebas automatizadas para sus algoritmos estocásticos?

¿Cuál es el estado del arte para SLAM en dispositivos móviles?

Los hiperparámetros del modelo de sintonización no encontraron los parámetros óptimos que uso en mi modelo. ¿Por qué?

¿Pueden los algoritmos de aprendizaje automático de análisis de datos reemplazar el trabajo realizado por los científicos de datos?

¿Podemos usar el modelo oculto de Markov para inferir las variables ocultas del universo?