¿Está muriendo la investigación en aprendizaje profundo?

Definitivamente, la investigación no está muriendo, pero la aplicación específica (implementación) del aprendizaje profundo (IA vertical) ha aumentado de manera muy significativa. El gráfico de crecimiento de los asistentes de Roman muestra que el interés ha aumentado.

La investigación en organizaciones como OpenAI y DeepMind se centra principalmente en el aprendizaje de refuerzo profundo (RL). Logros como el juego AlphaGo y Dota2 son algunos ejemplos. Las aplicaciones supervisadas de aprendizaje profundo recientemente han tenido un auge desde las nuevas empresas hasta las antiguas empresas heredadas.

Como lo menciona Francois (creador de Keras) en Twitter,

La competencia Imagenet 2012 creó un disparador para la investigación en IA específicamente en el aprendizaje profundo que se observó claramente en conferencias como NIPS, CVPR y otras.

Despliegue de Deep Learning: –

Esta tendencia muy importante que ha aumentado es el número de desarrolladores que toman un aprendizaje profundo para resolver problemas del mundo real. El siguiente gráfico muestra el gran aumento de desarrolladores que utilizan marcos de aprendizaje profundo.

Por lo tanto, este es un buen momento para observar el despliegue de DL en la aplicación del mundo real junto con los avances de investigación realizados en Deep Learning hasta que se observe el siguiente desencadenante.

Los enfoques actuales de AI y ML son de naturaleza estadística y no pueden generar modelos o descubrir mecanismos causales a partir de datos (a veces los científicos ayudan con AI y ML pero nit AI o ML, y las personas se confunden creyendo que es AI o ML).

Las tendencias y los métodos, incluido el aprendizaje profundo, son enfoques de caja negra que funcionan increíblemente bien para describir datos pero proporcionan poca o ninguna comprensión de los mecanismos de generación. Como consecuencia, tampoco pueden ser escalables a dominios para los que no fueron entrenados, y requieren toneladas de datos para ser entrenados antes de hacer algo interesante, y necesitan capacitación cada vez que se les presentan (aunque sea ligeramente) datos diferentes .

Con suerte, AI y ML se incorporarán más a los enfoques basados ​​en modelos, dejando atrás las estadísticas tradicionales e incorporando los primeros principios universales algorítmicos. Esto significa impulsar la ciencia fundamental en lugar de simplemente lanzar más recursos computacionales para resolver todo como lo hacen la IA y el ML actuales.

Los ejemplos anteriores potentes de enfoques basados ​​en modelos incluyen el modelado de ecuaciones diferenciales, pero esos enfoques también han carecido de los mecanismos para explorar y actualizar (y por lo tanto mejorar y escalar) modelos y, por lo tanto, lo que se necesita son enfoques fuertes basados ​​en el ciclo de datos de modelo. Afortunadamente, estamos avanzando en esa dirección, aquí nuestro enfoque orientado a la causalidad basado en la inferencia computacional dinámica:

Un cálculo de información algorítmica para el descubrimiento causal y los sistemas de reprogramación

Y aquí un video explicando el método:

Al principio, los resultados pueden parecer menos impresionantes en comparación con las noticias sobre el aprendizaje profundo (DL) que golpea a los humanos en Go, etc. Y hay razones para estar entusiasmado con eso, ya que DL es una herramienta muy poderosa para extraer y analizar datos. El DL eventualmente se incorporará al conjunto de herramientas que los científicos de datos aplicarán por defecto, al igual que las personas hacen análisis de regresión lineal (DL es en realidad un análisis de regresión con esteroides). Sin embargo, los científicos fundamentales continúan empujando desde la dirección opuesta hacia el modelado y la comprensión en lugar de reducir los números de los datos.

Por ejemplo, el documento anterior muestra cómo un motor puede generar modelos casi óptimos a partir de observaciones naturales o inducidas para crear mecanismos generadores que reproduzcan el sistema que a su vez reproduzca los datos, proporcionando así una comprensión profunda de las causas y los medios de dirección para manipularlos. , algo que queremos hacer si queremos, por ejemplo, curar enfermedades en lugar de tratarlas, por mencionar solo un ejemplo. En este otro artículo, una aplicación del método anterior podría modelar aspectos de la evolución natural que han permanecido misteriosos (por ejemplo, explosiones de diversidad, la aparición de genes, etc.) y también pueden acelerar los algoritmos evolutivos naturales y artificiales:

[1709.00268] Las mutaciones algorítmicamente probables reproducen aspectos de la evolución, como la tasa de convergencia, la memoria genética, la modularidad, las explosiones de diversidad y la extinción en masa.

Este video también muestra cómo ha impactado la investigación sobre la cognición:

Aquí hay algunas otras referencias interesantes:

Las redes neuronales profundas se engañan fácilmente: Predicciones de alta confianza para imágenes irreconocibles:

https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Nguyen_Deep_Neural_Networks_2015_CVPR_paper.pdf

Abrir una caja negra de red neuronal profunda conduce a una compresión con pérdida de las estimaciones de información mutua entre el conjunto de entrenamiento y la predicción:

https://arxiv.org/pdf/1703.00810… https://arxiv.org/pdf/1703.00810.pdf

Grandes clasificadores, sin causalidad o generación de modelos.

Siento que el último recurso agregado al campo recientemente es bastante robusto. Muestra que la investigación no muere en absoluto. Aqui esta el link-

Aprendizaje profundo con aplicaciones que usan Python: Chatbots y reconocimiento de rostro, objetos y voz con TensorFlow y Keras: Navin Kumar Manaswi: 9781484235157: Amazon.com: Libros

Un extracto aquí:

“Dado que el mundo se está enfocando en la Inteligencia Artificial de una forma u otra, el Aprendizaje Profundo como el mejor componente de la Inteligencia Artificial tomará el centro del escenario. Deep Learning hace un trabajo maravilloso en el reconocimiento de patrones, especialmente en el contexto de imágenes, sonido, habla, lenguaje y datos de series de tiempo.

Cuando hablamos de Deep Learning, es probable que discutamos los mejores marcos para el desarrollo de Deep Learning. Afortunadamente, en noviembre de 2015, Google lanzó Tensorflow, marco de aprendizaje profundo, que se ha utilizado en la mayoría de los productos de Google, como la búsqueda de Google, la detección de spam, el reconocimiento de voz, Google Allo, Google Now y Google Photos.

Tensorflow permite el paralelismo de modelos y el paralelismo de datos. TensorFlow proporciona múltiples API. El API de nivel más bajo, TensorFlow Core, le proporciona un control de programación completo ”.

De acuerdo con mis cálculos, la cantidad de asistentes de NIPS superará la población combinada del Área de la Bahía de SF en 2026 (y la población combinada de la Tierra en 2036).

Gráfico de asistencia de 2015

Este video de DARPA me pareció sorprendentemente informativo:

Cerca del final (13 minutos) donde habla sobre la “tercera ola”, esas son algunas áreas interesantes de investigación futura. Demis Hassabis, fundador de DeepMind, también ha hablado sobre temas similares (creo que en varias charlas después de que gana AlphaGo).

Y este es un ejemplo muy reciente de la investigación básica de aprendizaje profundo de DeepMind y otros:
“Superar el olvido catastrófico en las redes neuronales”
https://arxiv.org/pdf/1612.00796
(Tuve la suerte de encontrar este artículo mencionado en los foros de Udacity).

Puede ver lo que sucede en el campo haciendo búsquedas en Google Scholar para términos como DeepMind:
https://scholar.google.ca/schola

Hay una ola creciente de trabajo con aprendizaje profundo, pero gran parte del trabajo lo llevan a cabo grupos comerciales fuera de la academia. Puede parecer que la investigación está disminuyendo, pero sospecho que se migró a empresas privadas menos interesadas en la publicación.

Las grandes victorias con el aprendizaje profundo generaron un gran esfuerzo para explorar las capacidades. El fruto bajo de estas técnicas ha sido cosechado. Las ideas más profundas serán más difíciles de descubrir. Esto tendría un impacto en los investigadores académicos interesados ​​en seguir esta línea de investigación.

También podría haber un impacto de la industria tecnológica. Google et al, así como numerosas nuevas empresas, están explorando activamente la tecnología de aprendizaje profundo. Su progreso exponencial puede hacer que la investigación académica sea difícil de justificar.

No, no está muriendo, ya que lo veo como un campo muy prometedor para la investigación y, para asegurarme, busqué en Google su pregunta y no vi ninguna señal de que la investigación de DL muriera en el corto plazo. De hecho, encontré este enlace que también hace referencia a las publicaciones de Quora sobre este tema:

Esta es la vanguardia de la investigación de aprendizaje profundo

Es cierto que algunos aspectos del aprendizaje profundo ya están saturados. Por ejemplo, clasificación de imágenes desde ResNet.

Sin embargo, según lo veo, la clasificación de imágenes es una tarea básica, y aún necesitamos encontrar una mejor manera de hacer frente a la semántica del mundo. Comprender la escena de la imagen (Respuesta visual a la pregunta), Comprender el video, Hacer frente a múltiples modales. y quizás superando la prueba de Turing. Creo que el aprendizaje profundo es probablemente la respuesta. Ciertamente, hay mucho por mejorar.

Acerca de la “mano de obra”, dado que el campo es muy aplicativo, la industria “roba” a los investigadores estrella. Pero debe recordar que ser un tema de investigación muy candente también tiene sus beneficios. En mi universidad, muchos estudiantes de maestría / doctorado planean realizar su investigación en el campo del aprendizaje profundo. Así que en realidad creo que el campo está creciendo, y tendremos muchos documentos al respecto en los próximos años.

No De ningún modo. Exponencialmente creciendo.