¿Cómo se realiza el aprendizaje automático supervisado cuando sus datos no caben en una sola máquina? ¿Los clasificadores de libros de texto como los clasificadores SVM o Naive Bayes siguen siendo tan importantes o incluso factibles a medida que aumenta el tamaño de sus datos o los algoritmos diferentes se vuelven más populares?

El aprendizaje Hadoopified definitivamente está cobrando mucha fuerza. Apache Mahout ( http://mahout.apache.org/ ) es definitivamente uno de los grandes contendientes de código abierto allí.

Ha habido mucho trabajo reciente sobre la combinación de algoritmos rápidos de aprendizaje en línea (a diferencia de los algoritmos por lotes) como el descenso de gradiente estocástico (SGD) con técnicas inteligentes de reducción de dimensionalidad como el hash de características. Uno de los más visibles es el Vowpal Wabbit de John Langford: https://github.com/JohnLangford/ …

Un buen lugar para buscar otras soluciones de vanguardia para esto es el taller NIPS BigLearning de 2011 ( http://biglearn.org/ y http://www.youtube.com/results?s …)

Ya que estás buscando escalar un algoritmo. Primero, permítanme decir que tengo un sesgo hacia la JVM, pero mencionaré algunas otras herramientas.

Como se menciona a continuación, hadoop es lo que se usa típicamente. En este caso, querrás mirar Apache Mahout.

http://mahout.apache.org

Esto es más un problema de sistemas distribuidos que cualquier otra cosa. Otra plataforma en la que quizás quieras mirar es la tormenta

Es un marco de transmisión en tiempo real.

Otro enfoque, dependiendo de la cantidad de personalización que necesite, podría buscar algo como Akka

Documentación de Akka | Akka

El modelo de actor facilita la paralelización y el trabajo distribuido.

Dependiendo de sus requisitos, también puede buscar en varias implementaciones de Messaging Queue / zookeeper y distribuir a los trabajadores en un clúster para escuchar mensajes y procesar cargas de trabajo de forma asincrónica como esa.