¿Cuáles son todos los trabajos de investigación que han estudiado la superficie de pérdida de las redes neuronales?

Algunos trabajos recientes incluyen:

http://arxiv.org/pdf/1412.6544v4…

http://www.jmlr.org/proceedings/…

https://arxiv.org/pdf/1605.07110…

Este es en realidad un tema muy antiguo que surgió en el estudio de la física estadística de los vidrios giratorios, y muchos de los resultados clave en el documento de LeCun se sospechan y / o entienden desde hace algún tiempo. Ver :

http://www.uni-saarland.de/fak7/…

No estoy convencido de que estos estudios sean tan significativos para el aprendizaje profundo, ya que los anteojos giratorios son altamente aleatorios y estudiados en el caso de campo medio, y el aprendizaje profundo es muy no aleatorio y probablemente está fuertemente correlacionado.

Para una perspectiva diferente, ver:

https: //ganguli-gang.stanford.ed…

y documentos relacionados del laboratorio de Surya Ganguli

Recomendaría mirar las diapositivas de los tutoriales sobre “Matemáticas del aprendizaje profundo” organizadas en ICCV’15 y CVPR’16. Algunos de los oradores dieron una descripción decente de la literatura que está buscando.

El tutorial en ICCV’15:

JHU Computer Vision Machine Learning

En CVPR’16:

http://www.vision.jhu.edu/tutori

Se puede encontrar una descripción general en nuestro trabajo reciente y las referencias en él:

CNN profundos: [1710.10928] La superficie de pérdida y la expresividad de las redes neuronales convolucionales profundas

Redes profundas completamente conectadas: [1704.08045] La superficie de pérdida de redes neuronales profundas y anchas

Aquí hay un blog sobre todo tipo de actualizaciones en la superficie de pérdida de la red neuronal, lo mejor es que tiene todos los enlaces a trabajos de investigación.

Enlace del blog: una descripción general de los algoritmos de optimización de descenso de gradiente