A2A.
La regresión logística, con {-1, +1} codificaciones de clase y [math] \ ell_2 [/ math] -regularization conduce al siguiente problema de optimización:
[matemáticas] \ min_ {w} \ lambda \ | w \ | ^ 2 + \ sum_ {i} \ log (1 + \ exp (1 -y_ {i} w ^ Tx_ {i})) [/ math]
- Cómo romper la seguridad del sistema operativo utilizando hardware
- Cómo encontrar la suma de la suma mínima de las tarifas de entrada en esta pregunta
- Como estudiante de pregrado de CS escribir un trabajo de investigación
- En la teoría de la simulación, si notamos una falla, ¿no sugeriría que existimos también fuera de la simulación?
- ¿Es la inteligencia biológica una máquina de Turing, o más bien un superconjunto de máquinas de Turing?
SVM, por otro lado, conduce a la siguiente formulación:
[matemáticas] \ min_ {w} \ lambda \ | w \ | ^ 2 + \ sum_ {i} \ max \ {0, 1 – y_ {i} w ^ Tx_ {i} \} [/ math]
Es decir, solo difieren en la función de pérdida: la regresión logística minimiza la pérdida logística, mientras que SVM minimiza la pérdida de bisagra.
Echemos un vistazo a las funciones de pérdida:
Hay 2 diferencias a tener en cuenta:
- La pérdida logística diverge más rápido que la pérdida de bisagra. Entonces, en general, será más sensible a los valores atípicos.
- La pérdida logística no llega a cero incluso si el punto se clasifica con suficiente confianza. Esto podría conducir a una degradación menor en la precisión.
Por lo tanto, normalmente puede esperar que SVM tenga un rendimiento marginalmente mejor que la regresión logística.
Algunos otros puntos de comparación:
- La regresión logística tiene una interpretación probabilística. Por lo tanto, LR puede integrarse en otros marcos probabilísticos mucho más fácilmente que los SVM.
- Si bien ambos modelos pueden ser “kernelized”, SVM conduce a soluciones más dispersas debido a la holgura complementaria.
- SVM tiene un algoritmo SMO muy eficiente para optimizar el modelo kernelized. Además, existe LibSVM , una implementación de SMO, que permite entrenar SVM no lineales con mucha facilidad.
(Fuente de la imagen: Funciones de pérdida para regresión ordinal)
