A partir de mayo de 2014, ¿qué tan madura es la investigación en aprendizaje profundo?

Yo diría “no muy”, en el sentido de que hay un gran desafío con el que la comunidad de ML ha luchado antes y que es igual de malo con el aprendizaje profundo.

Google Translate es asombrosamente bueno, pero el problema clásico que tienes es tratar de arreglar las cosas que hace mal. ¿Qué hace mal? Incluso en los idiomas populares, a menudo se equivoca de género o se cae la palabra “no”. Capté el NYTimes traduciendo un tweet ruso sobre “libros” (plural) al “libro” inglés (singular). ¿Adivina qué? Pegado el tweet en Google Translate, salió “libro”. Esa es una palabra que aprendes en el primer día de clase de ruso. En general, Google Translate es increíble. ¿Pero arreglando estos problemas sistemáticos? Difícil.

Google Translate aparentemente no utiliza el aprendizaje profundo, pero los sistemas de aprendizaje profundo también tienen este problema. Si todavía estás en “¡Woohoo! ¡Podemos identificar una imagen de gato el 70% del tiempo!” etapa de aprendizaje, probablemente no te preocupes por problemas como este. Pero si no puede reconocer que Grumpy Cat es un gato, e intentar arreglar eso significa que los gatos persas dejan de ser reconocidos como gatos, entonces tiene este problema.

La investigación de aprendizaje profundo está ciertamente en etapas incipientes. Por ejemplo, no existe un paradigma de aprendizaje único que sea ideal para todo tipo de aplicaciones. El paradigma comúnmente utilizado de pre-entrenamiento generativo seguido de un ajuste discriminatorio funciona para muchas tareas, pero no para algunas tareas específicas como el reconocimiento del hablante o la identificación del idioma. Lea el excelente libro de MSR aquí para obtener más detalles: Página en microsoft.com.

La respuesta de Greg también captura el hecho de que es bastante difícil ajustar las redes de aprendizaje profundo para el problema en cuestión.

Las redes de aprendizaje profundo pueden volverse rápidamente intratables computacionalmente. A medida que aumenta el número de capas ocultas, el cálculo requerido para el entrenamiento se vuelve demasiado difícil de manejar, lo que requiere realizaciones distribuidas. Las verdaderas realizaciones distribuidas a gran escala de las redes de aprendizaje profundo son escasas, como lo demuestra el artículo de Jefferey Dean sobre aprendizaje profundo: Redes profundas distribuidas a gran escala.
Los métodos efectivos para entrenar las redes de aprendizaje profundo en paralelo a través de un grupo de nodos también es parte del desafío de realizar redes de aprendizaje profundo a gran escala.

La aplicación de redes de aprendizaje profundo al razonamiento también es algo que podría intentarse.

Además, aún quedan por explorar las posibilidades de aprender del cerebro humano (modelos de neurociencia) y la interacción entre el aprendizaje profundo y la neurociencia.

More Interesting

¿Cuáles son los mejores métodos y herramientas para diseñar una interfaz para una aplicación de investigación científica?

Si todo el departamento de ciencias de la computación en una universidad se cerrara, ¿podría la mayoría de los profesores titulares conseguir trabajos como desarrolladores de software?

¿Cuáles son los recursos para principiantes para obtener una experiencia práctica al usar algoritmos de aprendizaje automático en un conjunto de datos recopilados?

¿Cuáles podrían ser los temas de investigación en el área de modelos gráficos probabilísticos?

¿Son productivos los investigadores y matemáticos después de los 45? ¿Es práctico hacer un doctorado después de la jubilación?

¿Cuáles son algunos de los documentos de "lectura obligatoria" en el campo de VLSI y la arquitectura de computadoras?

¿Qué tipo de proyectos privados se pueden hacer en biología computacional o bioinformática que se pueden hacer a pequeña escala?

¿Cuál es el estado del arte en redes anónimas abiertas P2P optimizadas para transmitir música o video?

¿Qué programa universitario de ciencias de la computación hace que sus estudiantes escriban más código?

¿Cuáles son las aplicaciones de las estadísticas en el campo de la informática?

¿Por qué la gente dice que CS es más que programación o un lenguaje en particular?

¿Cuáles son las áreas clave de investigación en la práctica de farmacia actualmente?

Voy a ir a la universidad pronto y tengo muchas ganas de hacer una investigación de pregrado de CS, pero todos los trabajos de investigación que he intentado leer están muy por encima de mi cabeza. ¿Esto es normal?

Temas interdisciplinarios: ¿De qué maneras se pueden combinar la informática y la ciencia política?

¿Qué problemas de visión por computadora son importantes para un equipo de mapas?