¿Cuál es el significado conciso y la interpretación del sesgo y la varianza en el aprendizaje automático y las estadísticas?

Recomiendo echar un vistazo al curso Caltech ML de Yaser Abu-Mostafa, Lecture 8 (Bias-Variance Tradeoff).

Aquí está el buen ejemplo que dio Yaser:

Digamos que está tratando de aprender la función seno:

Nuestro conjunto de entrenamiento consta de solo 2 puntos de datos.

Intentemos hacerlo con dos modelos, h0 (x) = by h1 (x) = ax + b:

Para h0 (x) = b, cuando intentamos con muchos conjuntos de entrenamiento diferentes (es decir, seleccionamos repetidamente 2 puntos de datos y realizamos el aprendizaje en ellos), obtenemos (el gráfico izquierdo representa todos los modelos aprendidos, el gráfico derecho representa su media g y su varianza (área gris)):

Para h1 (x) = ax + b, cuando intentamos con muchos conjuntos de entrenamiento diferentes, obtenemos:

Si comparamos el modelo aprendido con h0 y h1, podemos ver que h0 produce modelos más simples que h1, por lo tanto, una varianza menor cuando consideramos todos los modelos aprendidos con h0, pero el mejor modelo g (en rojo en el gráfico) aprendido con h1 es mejor que el mejor modelo aprendido g con h0, por lo tanto, un sesgo menor con h1:

Michael Hochster dio una buena respuesta técnica; más informalmente:

Supongamos que tiene dos básculas de baño. Suponga que se pesa en una balanza (estándar de oro) y encuentra que pesa 80 kg.

Te subes a la báscula 1 4 veces y obtienes pesos de 81, 82, 81, 82,
Te subes a la escala 2 4 veces y obtienes pesos de 75, 85, 75, 85.

La escala 1 tiene una varianza baja pero está sesgada. La escala 2 es imparcial pero tiene una gran varianza.

Desde mi punto de vista, a menudo hay una sobrevaloración de la importancia de las estimaciones imparciales; si la cantidad máxima de varianza de una estimación puede, en sí misma, estimarse o definirse, entonces puede ser útil reducir la varianza; Esto es lo que sucede en la regresión de crestas, por ejemplo.

Digamos que desea estimar o predecir algún valor fijo pero desconocido [matemática] \ theta [/ matemática] utilizando una medición aleatoria [matemática] T [/ matemática]. Una métrica de rendimiento comúnmente utilizada para [matemática] T [/ matemática] es el error cuadrado medio (también conocido como promedio esperado):
[matemáticas] MSE = E (T – \ theta) ^ 2 [/ matemáticas]
Si escribimos [math] \ mu = E (T) [/ math], entonces podemos reescribir lo anterior como:
[matemáticas] E (T – \ mu + \ mu – \ theta) ^ 2 [/ matemáticas]
[matemáticas] = E (T – \ mu) ^ 2 + 2E [(T – \ mu) (\ mu – \ theta)] + (\ mu – \ theta) ^ 2 [/ matemáticas]
No hay [matemáticas] E () [/ matemáticas] en el último término porque no es aleatorio, es solo un número. El término medio es 0, por lo que nos da la identidad:
[matemáticas] MSE = E (T – \ mu) ^ 2 + (\ mu – \ theta) ^ 2 [/ matemáticas]
que descompone el error cuadrático medio en varianza (el primer término) y sesgo cuadrado (el segundo término). La existencia de esta descomposición aditiva es una de las cosas buenas de usar el error cuadrático medio.

El término sesgo mide el grado en que su predicción es sistemáticamente incorrecta; dado que solo depende del valor promedio [math] \ mu [/ math] de su predicción, no lo reducirá al recopilar más datos de la misma manera. La variación le da una medida de qué tan bien [matemáticas] T [/ matemáticas] predice su propio valor promedio; normalmente, cuantos más datos tenga de apoyo [matemática] T [/ matemática], menor será la variación.

Muchos métodos estadísticos proceden suponiendo que desea que el sesgo sea 0 e intente minimizar la varianza sujeta a esa restricción. Pero en algunos casos, puede mejorar el MSE general asumiendo cierto sesgo para lograr una varianza más baja.

Interpretación gráfica de sesgo – varianza.

Comprendamos esta imagen. Este es el diagrama de ojo de buey. Suponga que el centro del objetivo (color rojo) es un modelo que predice perfectamente los valores correctos. A medida que nos alejamos del ojo del toro, nuestra predicción empeora. Imagina que podemos repetir todo nuestro proceso de construcción de modelos para obtener una cantidad de golpes por separado en el objetivo. Cada golpe representa una realización individual de nuestro modelo, dada la variabilidad casual en los datos de entrenamiento que recopilamos. A veces obtendremos una buena distribución de los datos de entrenamiento, por lo que pronosticamos muy bien y estamos cerca de la diana, mientras que a veces nuestros datos de entrenamiento pueden estar llenos de valores atípicos o no estándar que resultan en predicciones más pobres. Estas diferentes realizaciones dan como resultado una dispersión de golpes en el objetivo.

Veamos la definición de sesgo y varianza:

Sesgo : sesgo significa cuán lejos están nuestras predicciones de los valores reales. En general, los algoritmos paramétricos tienen un alto sesgo, lo que los hace rápidos de aprender y fáciles de entender, pero generalmente menos flexibles. A su vez, tienen un rendimiento predictivo más bajo en problemas complejos que no cumplen con los supuestos simplificadores del sesgo de los algoritmos.

• Bajo sesgo : sugiere más suposiciones sobre la forma de la función objetivo.
• Alto sesgo : sugiere menos suposiciones sobre la forma de la función objetivo.

Los ejemplos de algoritmos de aprendizaje automático de bajo sesgo incluyen: árboles de decisión, vecinos más cercanos k y máquinas de vectores de soporte.

Los ejemplos de algoritmos de aprendizaje automático de alto sesgo incluyen: Regresión lineal, Análisis discriminante lineal y Regresión logística.

Varianza : cambio en las predicciones en diferentes conjuntos de datos. Nuevamente, imagine que puede repetir todo el proceso de construcción del modelo varias veces. La variación es cuánto varían las predicciones para un punto dado entre diferentes realizaciones del modelo. En otras palabras,
La variación es la cantidad que la estimación de la función objetivo cambiará si se utilizan diferentes datos de entrenamiento.

La función objetivo se estima a partir de los datos de entrenamiento mediante un algoritmo de aprendizaje automático, por lo que deberíamos esperar que el algoritmo tenga alguna variación. Idealmente, no debería cambiar demasiado de un conjunto de datos de entrenamiento al siguiente, lo que significa que el algoritmo es bueno para seleccionar el mapeo subyacente oculto entre las entradas y las variables de salida.

Los algoritmos de aprendizaje automático que tienen una gran variación están fuertemente influenciados por los detalles de los datos de entrenamiento. Esto significa que los detalles del entrenamiento influyen en el número y los tipos de parámetros utilizados para caracterizar la función de mapeo.

• Variación baja : sugiere pequeños cambios en la estimación de la función objetivo con cambios en el conjunto de datos de entrenamiento.
• Alta variación : sugiere grandes cambios en la estimación de la función objetivo con cambios en el conjunto de datos de entrenamiento.

En general, los algoritmos de aprendizaje automático no paramétricos que tienen mucha flexibilidad tienen una gran variación. Por ejemplo, los árboles de decisión tienen una gran variación, que es aún mayor si los árboles no se podan antes de su uso.

Los ejemplos de algoritmos de aprendizaje automático de baja varianza incluyen: Regresión lineal, Análisis discriminante lineal y Regresión logística.

Los ejemplos de algoritmos de aprendizaje automático de alta varianza incluyen: árboles de decisión, vecinos más cercanos k y máquinas de vectores de soporte.

Comprender el ajuste excesivo o insuficiente

En su raíz, lidiar con el sesgo y la varianza se trata realmente de lidiar con un ajuste excesivo o insuficiente. El sesgo se reduce y la varianza aumenta en relación con la complejidad del modelo. A medida que se agregan más y más parámetros a un modelo, la complejidad del modelo aumenta y la varianza se convierte en nuestra principal preocupación, mientras que el sesgo disminuye constantemente. Por ejemplo, a medida que se agreguen más términos polinomiales a una regresión lineal, mayor será la complejidad del modelo resultante. En otras palabras, el sesgo tiene una derivada negativa de primer orden en respuesta a la complejidad del modelo, mientras que la varianza tiene una pendiente positiva.

Comprender el sesgo y la varianza es fundamental para comprender el comportamiento de los modelos de predicción, pero en general lo que realmente le importa es el error general, no la descomposición específica. El punto óptimo para cualquier modelo es el nivel de complejidad en el que el aumento del sesgo es equivalente a la reducción de la varianza. Matemáticamente:

dBiasd / Complejidad = −dVariance / dComplexity

Si la complejidad de nuestro modelo excede este punto óptimo, en realidad estamos ajustando demasiado nuestro modelo; mientras que si nuestra complejidad no llega al punto óptimo, no estamos ajustando el modelo. En la práctica, no hay una forma analítica de encontrar esta ubicación. En su lugar, debemos usar una medida precisa del error de predicción y explorar diferentes niveles de complejidad del modelo y luego elegir el nivel de complejidad que minimice el error general.

El sesgo es la diferencia entre el valor verdadero (o deseado) y el valor medido (o real) de una estadística o salida de la máquina, cuando esa diferencia es sistemática (es decir, no aleatoria). La variación es la diferencia esperada cuando dicha diferencia se debe únicamente a procesos aleatorios.

Aquí hay una buena explicación: comprender el equilibrio entre sesgo y varianza

” Con cuatro parámetros, puedo colocar un elefante, y con cinco puedo hacer que mueva su trompa”. – John von Neumann

Sesgo = error en el conjunto de entrenamiento. Varianza = error adicional en el conjunto de prueba.