¿Cuáles son los algoritmos de aprendizaje automático adecuados para Big Data o análisis en tiempo real?

Cualquier algoritmo que pueda ser paralelo. Si se basa en el descenso de gradiente estocástico, debe asumir un solo procesador, memoria compartida. Existen algunas técnicas inteligentes que utilizan el paso de mensajes, pero en realidad son aproximaciones.

Siempre puedes ampliar tu hardware. A menos que esté trabajando a alta escala terabyte / petabyte, las grandes instancias ec2 deberían ser suficientes.

También considere el muestreo.

El aprendizaje automático consta de una amplia gama de algoritmos, algunos son más eficientes que otros. Es difícil elegir un algoritmo eficiente sin conocer el conjunto de datos en el que operará. La regresión lineal, por ejemplo, se puede resolver de forma iterativa o con ecuaciones normales. El proceso iterativo es más eficiente para los conjuntos de datos que exceden el rango variable de 10,000 porque la solución de ecuación normal se vuelve muy difícil de resolver en un tiempo eficiente. También hay algoritmos de aprendizaje automático para ayudar a reducir los datos sin pérdida de información. El escalado multidimensional es un ejemplo de esto y tiene como objetivo cuantificar las relaciones entre las variables en los datos de una manera más concisa.

Los algoritmos de aprendizaje automático basados ​​en Ensemble se pueden usar para big data. Por ejemplo, bosque aleatorio. El bosque aleatorio consta de muchos árboles de decisión pequeños donde un solo árbol de decisión pequeño realiza la clasificación de forma independiente.