¿Por qué la regresión logística se considera robusta a los valores atípicos en comparación con un método de mínimos cuadrados?

La respuesta a esta pregunta radica en la funcionalidad del método de mínimos cuadrados.

El problema con los valores atípicos en el método de mínimos cuadrados es que el método de mínimos cuadrados solo conoce los datos en términos de su media y sus diferencias al cuadrado de la media. Los valores atípicos distorsionarán (amplificarán o disminuirán radicalmente) en primer lugar. Luego, en segundo lugar, cuadrar estas diferencias solo acentuará la distorsión.
Por lo tanto, la presencia de valores atípicos tendrá un gran impacto en el método LS.

Ahora, para la regresión logística, el límite de decisión toma en consideración solo los puntos que están más cerca de él, por lo tanto, el efecto de los valores atípicos en el límite de decisión es muy menor. Esto no significa que un valor atípico no pueda tener un efecto significativo en los límites.

Espero que esto ayude.

Por lo general, el algoritmo de aprendizaje supervisado encuentra una estimación que minimiza la función de costo. La regresión lineal usa la función de pérdida cuadrada y la regresión logística usa la función de pérdida logística inversa (función de costo de la regresión logística)

[math] yf (x) [/ math] en el eje x no es más que producto de la etiqueta real (y) y la etiqueta predicha [math] (f (x)) [/ math].

Por ejemplo: límite de decisión por regresión lineal (función de pérdida cuadrada)

Debido a algunas de las observaciones atípicas en el segundo gráfico, la regresión lineal proporciona un límite de decisión que clasifica mal las etiquetas. Para reducir la pérdida cuadrada, elige una estimación al costo de predecir etiquetas incorrectamente. Por otro lado, la función de costo logístico no penaliza la estimación para la observación atípica.

Esto se debe a que la distribución logística tiene colas más pesadas (que la distribución normal):

Cualquier valor atípico no tendría tanto peso bajo los supuestos de la distribución logística (azul).

El límite de decisión es sensible solo a los puntos que están cerca del límite de decisión. Los valores atípicos están bien clasificados y, por lo tanto, contribuyen menos a la función de costos.

Observe la curva sigmoidea y transita entre 0 y 1 entre -5 y 5 para el ojo humano … Cualquier otra cosa (atípica) seguirá siendo solo 1 en la curva sigmoidea.

Esta fue la motivación para SVM