Agregando a la respuesta de Ben Packer: puede usar un solucionador SQP (programación cuadrática secuencial) inicializado en cada punto, por lo que se garantiza que no ‘saltará’ sobre el valle si tiene restricciones lineales; después de ejecutar ambos, puede verificar si su resultado es el mismo. En este caso, tiene la garantía (con el retroceso correcto) de aterrizar en el mismo ‘valle’ [1] si ambos le pertenecen, o aterrizar en diferentes valles, si pertenecen a diferentes conjuntos de este tipo.
Lamentablemente, no existen tales garantías si tiene restricciones arbitrarias (a menos que tenga otras condiciones como la continuidad de Lipchitz en sus funciones, en este caso siempre puede encontrarla eligiendo la constante correcta en el descenso del gradiente), en cuyo caso ciertamente seguiría El consejo de Ben.
–
- ¿Puedo aprender ML por mi cuenta?
- ¿Qué es un método de kernel en el contexto del aprendizaje automático?
- ¿Los algoritmos subyacentes permiten a Shazam identificar una canción y Amazon Flow para identificar una imagen básicamente igual?
- Andrew Ng: ¿Qué opinas sobre el futuro del aprendizaje de Bayesian Networks?
- ¿Las máquinas y los bots respetan la confidencialidad?
[1] Aquí estoy definiendo un valle (si existe) como el conjunto conectado más pequeño que contiene dos máximos locales y un punto en el interior del conjunto que es estrictamente más pequeño que cualquiera de los dos máximos locales. Puede comprobar que este conjunto está cerrado y su límite corresponde exactamente a los máximos locales mediante una simple prueba.
Otra definición de este tipo, que probablemente sea más útil si asume dos veces la diferenciabilidad (ya que lo anterior no explicará los conjuntos sin límites sin un poco de yoga matemático) es decir que el valle alrededor de un punto [matemáticas] p [/ matemáticas] es el conjunto conectado más grande tal que [math] p [/ math] es un elemento del conjunto y el hessian es positivo semi-definido en cada punto. Este conjunto también está cerrado (por la continuidad de la segunda derivada), pero la definición puede acomodar valles ilimitados.