¿Cuáles son los avances importantes en el aprendizaje automático en la última década?

Una idea reciente es la viabilidad de grandes conjuntos de datos a escala de Internet como reemplazo de la complejidad en el modelado. Los clasificadores lineales simples y los modelos Naive Bayes pueden superar a los modelos sofisticados en muchas tareas si se les dan conjuntos de datos suficientemente grandes para aprender. Google fue el primero en tener acceso a los conjuntos de datos a la escala necesaria, y lo han utilizado para mejorar sus sugerencias de búsqueda, traducción, detección de spam, etc. Alon Halevy, Peter Norvig y Fernando Pereira de Google tienen un muy bien escrito artículo titulado “La efectividad irracional de los datos”.

http://www.scribd.com/doc/138631 …

El artículo hace referencia al trabajo de finalización de escena de Hays y Efros de CMU.
http://graphics.cs.cmu.edu/proje …

Un desarrollo relacionado es el aprovechamiento de la potencia de procesamiento en paralelo disponible en hardware básico (procesadores de celda, GPU). El Instituto Rowland de Harvard tiene un grupo que trabaja en el aprendizaje de características simples para la visión artificial que realizan reconocimiento facial y de objetos de última generación mediante la generación y detección automática de características candidatas a gran escala.

http://www.rowland.harvard.edu/r …

El desarrollo de solucionadores L1 de muy alto rendimiento y ampliamente disponibles, como liblinear, graphlab, votepal wabbit, etc.

En términos más generales, la adopción, formulación e implementación a gran escala de problemas de aprendizaje automático como optimizaciones convexas (SVM, detección comprimida, NMF convexo, redes elásticas, SVM estructurales, etc.) utilizando una variedad de técnicas numéricas (punto interior, subgraduados, métodos de paquete, paralelo coordinar el descenso, seguir al líder proximal) y ponerlos a disposición del investigador aplicado

Además, la comprensión de que muchos problemas convexos de ML se pueden resolver de manera efectiva utilizando métodos paralelos de baja precisión, sin bloqueo e incluso en un entorno en línea. Esto permite tratar miles de millones de ejemplos y millones de funciones en tiempo real.

Agradecimientos especiales a Smale por su trabajo teórico inicial, a Tao por su trabajo en detección comprimida, a Niyogi por aprendizaje transductivo y el paquete smvlin, y al desarrollo de métodos NMF (factorización de matriz no negativa) (algoritmos de siembra, convexos -NMF formulaciones, y las extensiones generalizadas