La respuesta más corta que se me ocurre es … ¿Quizás tomando un libro o un curso y estudiándolo?
Sin embargo, la optimización matemática es un campo amplio y no necesita todo para comprender el aprendizaje automático.
Aunque no soy un especialista en optimización, puedo darte una sugerencia: como en la respuesta corta, toma un libro y lee de qué se trata en el primer capítulo (s). Luego estudie su método de aprendizaje profundo favorito. Tan pronto como encuentre una técnica de optimización que no entienda, trabaje hacia atrás para estudiar todas las cosas que necesita saber para esa técnica en particular.
- ¿Qué es un buen algoritmo para convertir un número decimal de coma flotante con muchos, muchos decimales en el equivalente binario?
- ¿Es posible escribir un programa para tabular la cantidad de tiempo que llevaría ver todos los programas en la lista instantánea de Netflix?
- ¿Por qué diferenciamos entre máquinas Turing universales y máquinas Turing normales?
- ¿Cuáles son sus puntos de vista sobre la teoría de la homotopía y su conexión con la informática teórica?
- ¿Cómo se puede determinar y mostrar la velocidad de un algoritmo (complejo) en notación Big O?
Es importante ir hacia atrás si desea un conocimiento práctico rápido, porque si comienza desde cero y sigue explorando todas las direcciones posibles, termina con una “parálisis de análisis”: siempre hay algo más que tal vez debería saber , por lo que nunca dejes de leer y nunca vuelvas a trabajar.
Dicho esto, creo que lo primero que debe saber es la optimización continua sin restricciones, y específicamente la optimización convexa y luego algunos métodos para la optimización no convexa; la diferencia entre métodos directos, de primer orden y de segundo orden; y alguna optimización restringida (método de multiplicadores de Lagrange para restricciones de igualdad, y dualidad de Wolfe para restricciones de desigualdad).
Además de la optimización matemática , también debe poder apreciar su implementación : cómputo numérico, complejidad espacial de varios métodos, sensibilidad al error, métodos aproximados y heurísticos. Muchos de estos no se encuentran en los libros de texto introductorios, pero puede encontrarlos en artículos que describen métodos específicos (ver, por ejemplo, “divergencia contrastante”).
Si necesita asesoramiento sobre libros introductorios accesibles sobre computación científica, me gustan los libros Matlab de Clive Moler: Libros de texto de Cleve Moler
