¿Cuál es la importancia de agregar un factor de ponderación en el algoritmo de mínimos cuadrados?

Los mínimos cuadrados son, como bien dice, un algoritmo, una operación. No significa nada a menos que estés tratando de resolver un problema con él.

Como modelo de regresión, utilizado para tratar de ajustar una expectativa condicional (posiblemente solo una media) a datos incompletos, importa cómo se obtenga su información. Si tuviera todos los datos para todas las personas, no necesitaría ninguna regresión.

Ahora, tenemos que preocuparnos por cómo se obtuvo la información. Si se trata de una muestra aleatoria simple, los pesos son efectivamente uniformes. Pero si quisieras tener una amplia muestra de la sociedad y tu muestra es demasiado masculina o demasiado sesgada en algún otro asunto, es posible que desees reducir esas observaciones.

Por otro lado, si su conjunto de datos es fanático de la banda de rock Rush, la verdadera distribución probablemente sesgue a los hombres.

Grandes encuestas estadísticas ya vendrán con pesos porque se han concebido con lo que se llama muestreo estratificado desde el principio. La idea es que puede obtener mejores resultados por menos dinero si específicamente busca los tramos de edad / género / ingresos de manera planificada para que puedan ser ponderados y la muestra se pueda ampliar de manera equilibrada.

Esta es una buena idea, por supuesto, depende también de si sus estratos son significativamente diferentes.