¿Cómo se eligieron las palabras sesgo y varianza (Machine Learning)?

No estuve presente para la votación ni nada, pero puedo decirles cómo los interpreto y recuerdo.

Parcialidad

Cada vez que elige un tipo de modelo, hace la afirmación de que los datos son de una forma que ese modelo puede describir. Si elige la regresión lineal, asume que su respuesta es una combinación lineal de sus variables de entrada. El modelo de ajuste resultante está sesgado por esa suposición. Si los datos no son de la forma que asumió, el modelo no se ajustará exactamente a los datos de entrenamiento. Entonces, el sesgo es lo equivocado que estabas en la especificación de tu modelo.

Diferencia

La variación es simplemente cuánto varía el poder predictivo de su modelo entre sus datos de entrenamiento y prueba.

El sesgo y la varianza son conceptos generales en la estimación estadística. Un estimador es una función de muestras de datos extraídas de una distribución y, por lo tanto, una variable aleatoria. Por ejemplo, la media muestral es un estimador de la media real de una distribución.

El sesgo de un estimador es la diferencia entre el valor esperado del estimador y el parámetro real que está tratando de estimar. El sesgo de la media muestral es 0 ya que el valor esperado de la media muestral es 0, o en otras palabras, es un estimador imparcial.

La varianza del estimador es simplemente la varianza de la variable aleatoria del estimador.

En el contexto del aprendizaje automático, los estimadores son los parámetros del modelo, que en cierto sentido son los estimadores de los parámetros de la distribución condicional verdadera P (Y | X). Si el modelo es demasiado simple, el valor esperado de los estimadores no representaría la distribución verdadera y, por lo tanto, está sesgado. Si el modelo es demasiado complejo (más parámetros para estimar), la varianza será alta, lo que significa que dado un nuevo conjunto de muestras (el conjunto de prueba), las estimaciones serán muy diferentes.