El 2016 bien podría pasar a la historia como el año del “bombo publicitario de Machine Learning”. Ahora todos parecen estar haciendo aprendizaje automático, y si no lo están, están pensando en comprar una startup para afirmar que sí.
Ahora, para ser justos, hay razones para gran parte de ese “bombo”. ¿Puedes creer que solo ha pasado un año desde que Google anunció que estaban abiertos a Tensor Flow? TF ya es un proyecto muy activo que se está utilizando para cualquier cosa, desde el descubrimiento de drogas hasta la generación de música. Sin embargo, Google no ha sido la única compañía abierta que abastece su software ML, muchos siguieron el ejemplo. CNTK de fuente abierta de Microsoft, Baidu anunció el lanzamiento de PaddlePaddle, y Amazon anunció recientemente que respaldarán a MXNet en su nueva plataforma AWS ML. Facebook, por otro lado, básicamente apoya el desarrollo de no uno, sino dos marcos de Deep Learning: Torch y Caffe. Por otro lado, Google también está apoyando al Keras altamente exitoso, por lo que las cosas son al menos incluso entre Facebook y Google en ese frente.
Además de la “exageración” y el gran apoyo de las empresas a los proyectos de código abierto de aprendizaje automático, 2016 también ha visto una gran cantidad de aplicaciones de aprendizaje automático que eran casi inimaginables hace unos meses. Me impresionó especialmente la calidad de la generación de audio de Wavenet. Habiendo trabajado en problemas similares en el pasado, puedo apreciar esos resultados. También destacaría algunos de los resultados recientes en lectura de labios, una gran aplicación de reconocimiento de video que probablemente sea muy útil (y tal vez aterradora) en el futuro cercano. También debo mencionar los impresionantes avances de Google en la traducción automática. Es sorprendente ver cuánto ha mejorado esta área en un año.
- ¿Ha habido alguna investigación sobre la creación de una red neuronal artificial física?
- ¿Es la aplicación asesina de Duolingo realmente un corrector gramatical?
- ¿Qué lenguaje de programación debería aprender para la IA que será predominante en el futuro cercano?
- ¿Es una pérdida de tiempo aprender bibliotecas de aprendizaje automático, como TensorFlow, en lugar de implementar los algoritmos desde cero?
- Cómo explicar el carácter escrito a mano usando la red neuronal
De hecho, la traducción automática no es el único avance interesante que hemos visto en el aprendizaje automático para las tecnologías del lenguaje el año pasado. Creo que es muy interesante ver algunos de los enfoques recientes para combinar redes secuenciales profundas con información secundaria para producir modelos de lenguaje más ricos. En “Un modelo de lenguaje de conocimiento neuronal”, el equipo de Bengio combina gráficos de conocimiento con RNN, y en “Modelos contextuales LSTM para tareas PNL a gran escala”, la gente de Deepmind incorpora temas en el modelo LSTM. También hemos visto mucho trabajo interesante en el modelado de atención y memoria para modelos de lenguaje. Como ejemplo, recomendaría “Ask Me Anything: Dynamic Memory Networks for NLP”, presentado en el ICML de este año.
Además, al menos debería mencionar un par de cosas de NIPS 2016 en Barcelona. Desafortunadamente, tuve que perder la conferencia la única vez que sucedía en mi ciudad natal. Sin embargo, seguí desde la distancia. Y de lo que reuní, los dos temas más candentes fueron probablemente Redes Adversarias Generativas (incluido el tutorial muy popular de Ian Goodfellow) y la combinación de modelos probabilísticos con Deep Learning.
Permítanme mencionar también algunos de los avances en mi área principal de especialización: Sistemas de recomendación. Por supuesto, el aprendizaje profundo también ha impactado esta área. Si bien todavía no recomendaría DL como el enfoque predeterminado para los sistemas de recomendación, es interesante ver cómo ya se está utilizando en la práctica y en gran escala por productos como YouTube. Dicho esto, ha habido investigaciones interesantes en el área que no están relacionadas con el aprendizaje profundo. El mejor premio en papel en el ACM Recsys de este año fue para “Modelos locales de ítem-ítem para la recomendación Top-N”, una extensión interesante de los métodos lineales dispersos (es decir, SLIM) usando un paso de agrupación inicial sin supervisión. Además, “Máquinas de factorización de campo para la predicción de CTR”, que describe el enfoque ganador para el Desafío de Kaggle de predicción CTR de Criteo es un buen recordatorio de que las Máquinas de factorización siguen siendo una buena herramienta para tener en su kit de herramientas de ML.
Probablemente podría continuar con varios otros párrafos simplemente enumerando avances impactantes en el aprendizaje automático en los últimos 12 meses. Tenga en cuenta que ni siquiera he enumerado ninguno de los avances relacionados con el reconocimiento de imágenes o el aprendizaje de refuerzo profundo, o aplicaciones obvias como automóviles sin conductor, bots de chat o juegos, que todos vieron grandes avances en 2016. Sin mencionar todos la controversia sobre cómo el aprendizaje automático está teniendo o podría tener efectos negativos en la sociedad y el aumento de las discusiones sobre el sesgo algorítmico y la equidad.
Editar:
Antes de que me llamen sobre esto, también debo mencionar que la mayoría de estos avances probablemente fueron publicados por Schmidhuber hace años. Pero, oye, ¡al menos apareció en el New York Times este año!
