Realmente depende del conjunto de datos y los modelos base. Por ejemplo, supongamos que está modelando un gran conjunto de datos con un conjunto de modelos básicos simples (por ejemplo, KNN, árbol de decisión único, etc.). Los modelos base individuales pueden hacer un trabajo relativamente pobre al ajustar los datos. Por lo tanto, cuando los agrupa, el potencial de mejora sobre el mejor modelo base individual será relativamente grande.
Ahora repitamos el ejercicio, pero usemos solo modelos básicos complejos (por ejemplo, red neuronal, árbol impulsado por gradiente, etc.) para entrenar el mismo conjunto de datos. En este caso, los modelos base individuales harán un trabajo relativamente bueno al ajustar los datos. Entonces, cuando apile estos modelos base, el potencial de mejora sobre el mejor modelo base individual será relativamente pequeño.
Hasta ahora solo he usado el ejemplo de un gran conjunto de datos. Pero, ¿qué pasa si se usa un conjunto de datos pequeño y simple? En ese caso, el apilamiento probablemente no ayudará mucho, independientemente de los modelos base. Probablemente sea mejor usar un solo modelo, y un solo modelo complejo puede no ser mucho mejor que un solo modelo simple.
- ¿Cuáles son algunos proyectos paralelos de Machine Learning que puedo implementar en mi tiempo libre?
- ¿El aprendizaje automático conducirá a la mercantilización del conocimiento?
- ¿Cómo se interpretan la precisión y el recuerdo en una tarea de segmentación?
- ¿Por qué necesitamos tasas de aprendizaje adaptativo para Deep Learning?
- ¿Podemos usar variador automático para aprender una representación como el autoencoder de vainilla?
En mi experiencia, los resultados del apilamiento son mixtos. A veces ayuda, y otras veces no. En los casos en que ayuda, la mejora suele ser modesta. Tenga en cuenta que tiendo a utilizar modelos básicos complejos, como bosques aleatorios y árboles impulsados por gradientes, que son el resultado del ensamblaje. Además, gran parte de mi apilamiento se limita a la mezcla, que es solo un promedio aritmético o geométrico simple de algunos modelos base.
En cuanto al uso en el mundo real, a menudo no es práctico apilar porque puede ser una tarea que consume mucho tiempo, especialmente en grandes conjuntos de datos. Incluso si pudiera producir un modelo mejor apilado, implementar un modelo tan complicado en la producción puede no ser factible. Y no olvide que los modelos más complejos tienden a degradarse más rápido con el tiempo. Entonces, supongo que los equipos de ciencia de datos del mundo real con mano de obra limitada y potencia informática solo realizarán una cantidad modesta de apilamiento en sus modelos, si es que lo hacen.
