¿Puede un modelo de aprendizaje automático utilizar múltiples algoritmos como la regresión logística, las redes neuronales y los árboles de decisión al mismo tiempo?

Quizás te interese CRAN – Package SuperLearner. Le permite definir de manera flexible qué métodos de aprendizaje desea incluir, luego forma una combinación de los métodos después del entrenamiento para dar una predicción estimada.

Un artículo que explica lo que hace este paquete es http://biostats.bepress.com/cgi/…. “Súper aprendiz en predicción”. Los siguientes son de las secciones de resumen, cuerpo y discusión:

El súper alumno es un método de predicción diseñado para encontrar la combinación óptima de una colección de algoritmos de predicción. El algoritmo de superaprendizaje encuentra la combinación de algoritmos que minimiza el riesgo de validación cruzada

… el súper alumno superará asintóticamente a cualquiera de sus competidores, incluso si el conjunto de competidores puede crecer polinomialmente en tamaño de muestra. Esto motivó nuestra denominación de “super aprendiz”, ya que proporciona un sistema de combinación de muchos estimadores en un estimador mejorado.

… Más allá del desempeño del oráculo asintótico del súper alumno, nuestra evaluación del desempeño práctico del súper alumno muestra que el súper alumno también es un procedimiento de selección de estimador robusto y adaptativo para muestras pequeñas. La combinación de estimadores con los pesos (es decir, positivo y resumiendo hasta 1) basados ​​en minimizar el riesgo de validación cruzada parece controlar el sobreajuste del ajuste final del conjunto generado por el algoritmo de super aprendizaje, incluso cuando se utiliza una gran colección de estimadores candidatos. Los ejemplos anteriores demuestran que el marco de súper alumno le permite al investigador probar muchos algoritmos de predicción y muchos modelos adivinados a priori sobre el modelo de regresión real para un problema dado, sabiendo que el ajuste final combinado de súper alumno será el mejor o cercano El mejor ajuste. La combinación de estimadores con el algoritmo de combinación convexo propuesto aquí parece mejorar también en el selector de validación cruzada habitual (es decir, superaprendizaje discreto). La selección de un algoritmo único basado en la minimización de riesgos con validación cruzada V-fold puede ser inestable con los pequeños tamaños de muestra de los conjuntos de datos presentados aquí, mientras que el super alumno puede promediar algunos de los mejores algoritmos en la biblioteca para dar un resultado más estable estimador en comparación con el discreto super alumno.

Gracias a Waleed Kadous: ¡buen recurso y discusión!

Sí, este enfoque se denomina apilamiento (consulte Generalización apilada). También necesita un “metaaprendiz” que sepa en qué algoritmos confiar o cuánto peso dar a cada uno.

Es menos popular que, por ejemplo, embolsar y aumentar. Es un poco menos práctico en algunos aspectos, porque si tiene un solo algoritmo, puede descubrir más fácilmente cómo reducir su varianza (y sesgo) como un conjunto. Esto es más difícil de hacer en el apilamiento.