TL; DR: en general no son convexos. (Véase la respuesta concisa de Abhinav Maurya).
Esta es la razón por la cual, incluso en redes neuronales simples (NN), la retropropagación (que en realidad es el algoritmo de descenso más pronunciado basado en gradiente especializado en las ecuaciones de NN) solo garantiza la convergencia a un mínimo local en lugar de al mínimo global . En general, en el aprendizaje profundo, las NN son bastante grandes y, por lo tanto, el número de mínimos (locales) es mucho mayor que en casos simples de NN.
El hecho de que el mínimo global, casi siempre, no se encuentre después de los pasos de optimización en el aprendizaje profundo eventualmente no será muy importante en la práctica, porque debido a las preocupaciones de sobreajuste, uno trata de evitar la especialización excesiva de la NN en ese conjunto de entrenamiento en particular. Y el mínimo global de la NN es su máxima especialización en el conjunto de entrenamiento.
- ¿Qué es una introducción a vista de pájaro a la teoría de grafos?
- ¿Cuáles son algunas de las aplicaciones más elegantes de la teoría de grafos?
- ¿Cuál es el significado del lema de Schwartz-Zippel?
- ¿Resolver acertijos me hará mejor en matemáticas, física, informática o resolución general de problemas?
- Para aquellos que son buenos en programación pero no en matemáticas, ¿qué les resulta difícil de las matemáticas?
El tema de la optimización convexa es muy importante para la comunidad de aprendizaje automático. Como consecuencia, algunas reuniones científicas se han dedicado exclusivamente a este tema, como el reciente Taller NIPS 2015 sobre Optimización no convexa para el aprendizaje automático: teoría y práctica.
Sin embargo, en algunos NN especiales , construidos de forma incremental, es posible definir problemas de optimización estrictamente convexos en su formación. Ver https://papers.nips.cc/paper/280… (o, el mismo documento, en https://www.iro.umontreal.ca/~li…).
En resumen, la optimización de NN generalmente no es convexa, pero puede ser convexa en algunos casos especiales.
