¿Qué algoritmos de aprendizaje automático se pueden considerar entre los mejores?

Te recomiendo que mires

Wolpert, DH, Macready, WG (1997), “No Free Lunch Theorems for Optimization”, IEEE Transactions on Evolutionary Computation 1 , 67.

Creo que realmente no puedes responder esta pregunta en un sentido general. También,
“mejor” debe definirse con mayor precisión.

Algunas reflexiones sobre diferentes clasificadores:

– tanto la regresión logística como las SVM funcionan muy bien para problemas lineales, la regresión logística puede ser preferible para datos muy ruidosos
– Bayes ingenuo puede funcionar mejor que la regresión logística para pequeños tamaños de entrenamiento; También es bastante rápido, por ejemplo, si tiene un gran problema multiclase, solo tendría que entrenar un clasificador, mientras que tendría que usar One-vs-Rest o One-vs-One con SVM o logística regresión
– kernel SVM para datos no lineales
– El vecino k-más cercano también puede funcionar bastante
– Los bosques aleatorios y los árboles extra funcionan bien en problemas lineales y no lineales

Mis favoritos (desde un punto de vista teórico) son las redes neuronales, pero al menos intento un puñado de algoritmos diferentes (por ejemplo, ver la lista anterior) cuando construyo un modelo.

Como esta pregunta es (imposible) responder directamente, quizás abordemos la pregunta desde otro ángulo y enumeremos los algoritmos que no son tan buenos:

– claramente perceptrones: son inferiores a los clasificadores relacionados, como las neuronas lineales adaptativas y la regresión logística y no tiene sentido usarlos (bueno, tal vez la velocidad puede ser un argumento favorable en casos muy, muy raros)

– aunque los vecinos k más cercanos pueden estar limpios en ciertos casos en los que tiene funciones muy complejas que desea aproximar de manera simple, no lo consideraría para mis algoritmos “favoritos”. A menos que tenga un conjunto de datos de muy baja dimensión, es probable que sufra la maldición de la dimensionalidad.

– a menos que lo necesite para interpretarlo, enumeraría los árboles de decisión (a menos que desee visualizar las reglas de decisión); Los bosques al azar y los árboles adicionales son “mejores”

Ahora, se aplican las mismas reglas para la regresión,

– Comience con la regresión de mínimos cuadrados ordinarios
– use LASSO, Ridge o regresión neta elástica si la varianza alta (sobreajuste) o la colinealidad es un problema
– prueba RANSAC si tienes muchos valores atípicos
– intente Regresión de vectores de soporte (con un núcleo no lineal) o regresión de bosque aleatorio si tiene datos no lineales