¿Por qué el método de Newton solo es apropiado cuando el hessiano es positivo definido?

Te daré dos respuestas: una respuesta corta y una respuesta larga.

Respuesta corta : el método de Newton es un problema de optimización de segundo orden. Y, una función real tiene un mínimo en [math] x (x1, x2, …) [/ math] si y solo si su gradiente es cero y Hessian es positivo semi-definido en ese punto.

Respuesta larga : mira la ecuación:

La ecuación muestra claramente que necesitamos el inverso de Hessian para calcular nuestra actualización en el método de Newton. Ahora, si Hessian no es semi-definido positivo, entonces tenemos dos casos: 1) al menos uno de los valores propios es cero 2) todos los valores propios son negativos. El primer caso claramente hará que la matriz sea singular, lo que también significa que las columnas son dependientes y sin una forma inversa. Y, el segundo caso dificulta la convergencia de la función porque todos los algoritmos de optimización trabajan fundamentalmente en la idea de que el parámetro entrenable disminuye en cada iteración. Entonces, este caso hará que nuestra optimización no tenga valor.

De hecho, el método de Newton es mucho más rápido en términos de convergencia que el descenso de gradiente debido a la información adicional de Hessian, pero aún así no es utilizable en redes neuronales porque el Hessian de la función objetivo / pérdida no está semi-definido allí. Además, calcular Hessian durante la propagación hacia atrás es un problema [matemático] O (n ^ 2) [/ matemático] muy costoso también. Traje redes neuronales porque supongo que estás siguiendo las teorías del aprendizaje automático / aprendizaje profundo y descubriste todas estas cosas.

Espero que esto ayude.

El método de Newton en general se puede ver como un método de punto fijo y en sí mismo no tiene relación con la definición positiva del hessiano. Solo requiere que el jacobiano sea no singular.

Creo que está más interesado en las condiciones críticas para resolver un problema de optimización convexa. Tenga en cuenta que en este caso, el método de Newton es simplemente una de las formas de buscar un mínimo de forma iterativa. Independientemente del método utilizado, los mínimos siempre existen cuando [math] H (x ^ *) [/ math] es Simétrico y Definitivo Positivo (SPD) donde [math] x ^ * [/ math] es el mínimo de función [ matemáticas] f: R ^ n \ rightarrow R [/ matemáticas]

Para ver por qué este es el caso, considere la expansión de la serie Taylor:

[matemáticas] f (x ^ * + s) = f (x ^ *) + \ nabla f (x ^ *) ^ Ts + \ frac {1} {2} s ^ TH_f (x ^ *) s [/ math ]

Pero [matemáticas] \ nabla f (x ^ *) = 0 [/ matemáticas]

Esto significa que

[matemáticas] f (x ^ * + s) = \ frac {1} {2} s ^ TH_f (x ^ *) s + f (x ^ *) [/ matemáticas]

Lo que a su vez significa que si [matemática] H (x ^ *) [/ matemática] es SPD entonces [matemática] f [/ matemática] “aumenta” en la vecindad de [matemática] x ^ * [/ matemática] y no importa en qué dirección viaja, lo que implica que [matemáticas] x ^ * [/ matemáticas] es un mínimo local.

No hay necesidad de respuestas tan largas como las que se dan aquí. Todo lo que necesita saber es que el método de Newton requiere que calcule el inverso de Hesse.

Suponga que su arpillera no es positiva definida. Luego, existe una matriz con un valor propio [matemático] 0 [/ matemático] que representa su arpillera con columnas linealmente dependientes y sin una inversa , lo que necesita para el método de Newton.