¿Serán obsoletas las técnicas de programación lineal y optimización matemática en el futuro?

Entiendo lo que quieres decir, pero como está redactado, no creo que la pregunta tenga mucho sentido. Después de todo, el descenso de gradiente es una técnica de optimización matemática ampliamente utilizada para entrenar redes neuronales.

Pero creo que está sugiriendo que las preguntas de optimización más generales se responderán cada vez más con cosas como redes neuronales, etc. Estoy seguro de que se utilizarán cada vez más para atacar problemas no convexos. Sin embargo, creo que las técnicas tradicionales de optimización convexa nos acompañan para siempre. Son más rápidos que las redes neuronales y se entienden mucho mejor desde un punto de vista teórico. De acuerdo, primero debe estar bastante seguro de que su problema es convexo, localmente convexo o bastante convexo, pero si tiene este tipo de conocimiento de su espacio global, los optimizadores convexos pueden explotarlo directamente. Pueden descubrir una solución a un grado arbitrario de precisión, mientras que una red neuronal o algo así realmente no sabe qué tan cerca está del punto óptimo. Una excepción en la que las redes neuronales pueden tener una ventaja es en los problemas que involucran ciertos tipos de restricciones. Debido a problemas numéricos relacionados con la representación de números de coma flotante en el hardware de la computadora, he visto que muchos optimizadores disponibles se ahogan de vez en cuando. Sin embargo, una red neuronal puede continuar buscando el mismo espacio y, por lo tanto, podría considerarse algo más robusto en un sentido práctico.

Generalmente estoy de acuerdo con John Harris.

Sin embargo, mi opinión es que, en muchos sistemas complejos de mutivariación, los métodos de optimización clásicos no pueden proporcionar mejores soluciones en comparación con una combinación de algoritmos evolutivos y metamodelos generados por Machine Learning. Ambas estrategias son básicamente IA y no una optimización clásica.