¿Cuáles son los algoritmos de optimización más simples y fundamentales?

El algoritmo de optimización más simple y fundamental es definitivamente la búsqueda ingenua. Fácil de codificar, óptimo global garantizado, garantía de por vida de esperar problemas complejos.

La primera aceleración es usar el gradiente, también conocido como primeras derivadas, también conocido como pendiente, para determinar en qué dirección disminuye su función. Esto se llama descenso más empinado. Fácil de codificar, mínimo local garantizado, más eficiente que el método ingenuo.

La próxima aceleración es el método de Newton, que utiliza gradientes y segundas derivadas, también conocidas como curvaturas. Puede o no converger para problemas complejos, pero si lo hace, lo hará de forma cuadrática.

Esas son las bases de todos los demás algoritmos. Los otros algoritmos son solo ajustes de lo anterior.

Nota: mi respuesta se refiere a algoritmos basados ​​en gradiente para funciones continuas.

Por optimización, supongo que es una optimización de función no lineal o programación no lineal

Los métodos huérísticos simples son los mejores. Los otros métodos siempre son difíciles, ya que requieren el cálculo de gradientes primero y segundo, etc.

Solo en los casos en que la función es algo hipotética, las expresiones matemáticas son solo para probar la efectividad de esos algoritmos, pero los problemas de diseño de la vida real son mucho más complicados y es por eso que he dicho que las huerísticas son mejores, se pueden usar directamente.

Los métodos informáticos suaves como

Algoritmo genético

Colonia de hormigas algo etc.

Y se están probando muchos nuevos.

La mejor es probar estos híbridos con métodos clásicos, la implementación es fácil y los resultados son satisfactorios.

Sriram

Descenso de gradiente – ir cuesta abajo

Prueba todas las posibilidades y sigue la mejor