¿Pueden las redes neuronales resolver problemas de optimización?

“Cada problema es un problema de optimización”. – Stephen Boyd

Muchos de los problemas a los que actualmente se aplican las NN profundas se solían formular hasta hace poco como problemas de optimización adecuados (en el momento de la prueba). Al menos en ese sentido, ciertamente las NN pueden resolver problemas de optimización.

Por ejemplo, la detección de objetos fue un problema de optimización. La clase de métodos más efectiva antes de la revolución actual de NN profunda utilizaba programación dinámica para optimizar una función objetivo que consistía en una suma de términos de apariencia (energía) de nivel parcial y términos de desplazamiento de parte 2D (energía) [0]. Por supuesto, ahora existen muchos métodos que utilizan NN profundos para resolver la detección de objetos [1] sin necesidad de resolver un problema de optimización explícito en el momento de la prueba.

Del mismo modo, la profundidad de la estimación de flujo estéreo y óptico utilizó programación dinámica o enfoques basados ​​en muestreo para resolver una función objetivo sobre el espacio de las etiquetas por píxel [2,3] en el momento de la prueba. Una vez más, los NN profundos recientes le permiten hacer esto en un solo pase hacia adelante [4,5].

La idea clave es mostrar a la red una gran cantidad de mapeos de ejemplo desde el espacio de entrada al espacio de salida, en el momento del entrenamiento, cualquiera que sea el problema de optimización.

Aparte de eso, conozco otro trabajo que va en la dirección de “aprender un optimizador” [6], aunque en realidad no lo he leído.

[0] http://lear.inrialpes.fr/~oneata…

[1] Hacia la detección de objetos en tiempo real con redes de propuestas regionales

[2] http://www.dlr.de/rm/Portaldata/…

[3] http://www.cv-foundation.org/ope…

[4] http://www.cv-foundation.org/ope…

[5] https://scholar.google.com/citat…

[6] [1606.04474] Aprendiendo a aprender por gradiente descendente por gradiente descendente

Si.

Un ejemplo de una técnica relevante es crear un modelo sustituto con varias entradas, ‘alimentar’ la red con las entradas y usar un algoritmo evolutivo para cumplir con la optimización.

Solía ​​pensar que aplicaría las redes neuronales a la mayoría de los problemas que necesitan optimización en ingeniería. Ese es un error común. Dentro de una red neuronal tiene un optimizador que se encarga de la optimización de sesgos / pesos.

Entonces, diría que necesita solo la parte optimizadora de una red neuronal artificial.

Recientemente, hay una gran cantidad de trabajo que desenrolla el paso iterativo de un algoritmo de optimización en una red neuronal profunda. El clásico es el artículo de Yann Lecun http://yann.lecun.com/exdb/publi … que desenrolla el ISTA en una profunda red neuronal LISTA.

Las redes neuronales son una extensión del problema de optimización. Y no al revés.

Si ha leído libros en redes neuronales, podría haberlo visto reducido a la programación no lineal.

Entonces, las redes neuronales pueden ser o son en realidad un proceso de optimización. NN no se puede utilizar para resolver problemas de optimización.

Los algoritmos genéticos pueden usarse como una herramienta para NN ya que es un proceso de optimización.

Sriram

Sí, la red neuronal puede resolver problemas de optimización restringidos. Hay muchos recursos en línea con respecto a este campo de estudio / investigación.