¿Cuándo la pérdida cuadrada no es buena para la función de pérdida para la regresión?

La idea detrás de la “pérdida” es que mide la improbabilidad de un ajuste. Si cree que el valor en x es A (x) (algunos datos ruidosos), desea minimizar la probabilidad de obtener A (x) dado que el valor verdadero es f (x).

En este caso, crea un modelo de error gaussiano, dice que la probabilidad de estar en A si se supone que está en f es

exp (- C (A (x) – f (x)) ^ 2)

con algo de C constante, y hasta la normalización. Este es un modelo de error “unimodal”, porque la probabilidad tiene un golpe, si grafica exp (-Cx ^ 2) en función de x, tiene un pico único.

Luego, la probabilidad de que la función f (x) sea correcta se encuentra multiplicando todos los errores gaussianos. Como la multiplicación es complicada, tomas el registro y dices que estás sumando la probabilidad de registro. Este es el error de suma al cuadrado: el error de suma al cuadrado es el registro de la probabilidad total de los datos dada la presunta cosa que está ajustando.

La universalidad de la distribución gaussiana de errores (el teorema del límite central) es la justificación para usar este modelo. Los errores que se componen de la suma de muchos pequeños errores aleatorios siempre se distribuyen en Gauss cuando hay suficientes componentes en la suma.

Algo multimodal sucede cuando tiene dos posibles valores de mejor ajuste: A (x) o B (x). En este caso, la probabilidad de que f (x) sea correcta tiene dos picos, uno cuando f (x) = A (x) y el otro cuando f (x) = B (x), con pesos correspondientes a la probabilidad de que A y B deben ser correctos respectivamente.

Entonces, la función de distribución de probabilidad que desea se idealiza como una suma de gaussianos, o una exponencial de un cuarto, algo con dos picos:

exp (- C (A (x) – f (x)) ^ 2) + exp (- C ‘(B (x) -f (x)) ^ 2)

Para combinar los exponenciales, toma el registro de la suma, y ​​este es un gran lío para hacer cualquier cosa, como lo es cualquier distribución de dos picos.

Todo lo que dice el libro es que la “desviación de suma cuadrada” es un buen modelo cuando la probabilidad de tener la razón tiene un pico, es decir, una mejor conjetura sobre dónde se supone que debe pasar lo verdadero, pero un modelo pésimo cuando hay más de una mejor conjetura sobre dónde se supone que debe pasar la cosa.

En cualquier caso, si tiene un modelo de probabilidad, puede maximizarlo usando Montecarlo, para encontrar el mejor ajuste estocástico. Cuando se trata de mínimos cuadrados, puede encontrar el mejor ajuste simplemente bajando la probabilidad o resolviendo una ecuación lineal.