“Cada problema es un problema de optimización”. – Stephen Boyd
Muchos de los problemas a los que actualmente se aplican las NN profundas se solían formular hasta hace poco como problemas de optimización adecuados (en el momento de la prueba). Al menos en ese sentido, ciertamente las NN pueden resolver problemas de optimización.
Por ejemplo, la detección de objetos fue un problema de optimización. La clase de métodos más efectiva antes de la revolución actual de NN profunda utilizaba programación dinámica para optimizar una función objetivo que consistía en una suma de términos de apariencia (energía) de nivel parcial y términos de desplazamiento de parte 2D (energía) [0]. Por supuesto, ahora existen muchos métodos que utilizan NN profundos para resolver la detección de objetos [1] sin necesidad de resolver un problema de optimización explícito en el momento de la prueba.
- ¿Cuáles fueron algunos de los artículos de conferencias / revistas de investigación del discurso más interesantes / dignos de mención en 2012?
- ¿En qué se diferencia el aprendizaje profundo del perceptrón multicapa?
- ¿Cuál es la diferencia entre la función de pérdida y la función de activación?
- ¿Cuál es la diferencia entre regresión, clasificación y agrupamiento en el aprendizaje automático?
- ¿Cuáles son las 8 principales cosas para las que las startups utilizan el aprendizaje automático?
Del mismo modo, la profundidad de la estimación de flujo estéreo y óptico utilizó programación dinámica o enfoques basados en muestreo para resolver una función objetivo sobre el espacio de las etiquetas por píxel [2,3] en el momento de la prueba. Una vez más, los NN profundos recientes le permiten hacer esto en un solo pase hacia adelante [4,5].
La idea clave es mostrar a la red una gran cantidad de mapeos de ejemplo desde el espacio de entrada al espacio de salida, en el momento del entrenamiento, cualquiera que sea el problema de optimización.
Aparte de eso, conozco otro trabajo que va en la dirección de “aprender un optimizador” [6], aunque en realidad no lo he leído.
[0] http://lear.inrialpes.fr/~oneata…
[1] Hacia la detección de objetos en tiempo real con redes de propuestas regionales
[2] http://www.dlr.de/rm/Portaldata/…
[3] http://www.cv-foundation.org/ope…
[4] http://www.cv-foundation.org/ope…
[5] https://scholar.google.com/citat…
[6] [1606.04474] Aprendiendo a aprender por gradiente descendente por gradiente descendente