¿Por qué no reescalamos el vector de coeficiente de una regresión de lazo?

Los coeficientes de lazo están sesgados debido a un umbral suave. Tiene dos opciones para reducir el sesgo en estos coeficientes.

Una es reajustar los mínimos cuadrados ordinarios usando una estimación de regresión de lazo inicial. Realice OLS utilizando una matriz de datos reducida reteniendo columnas que correspondan a coeficientes de regresión de lazo diferente de cero. Debe interpretar el lazo reacondicionado con precaución, ya que el lazo tiende a seleccionar muchas variables de ruido en el modelo y, en consecuencia, los valores reajustados aún podrían estar sesgados. La interpretación de los coeficientes OLS reajustados depende de las variables / columnas en el modelo.

Alternativamente, puede usar el lazo adaptable que intenta penalizar adaptativamente cada coeficiente de regresión. Los coeficientes grandes reciben una penalización pequeña y los coeficientes pequeños reciben una penalización mayor. Dado que los coeficientes son desconocidos de antemano, primero debe utilizar la regresión de cresta o lazo para obtener una estimación inicial de [matemática] \ beta [/ matemática] y luego utilizar una penalización de lazo ponderada para obtener estimaciones menos sesgadas.

Lo que intenta hacer a través de la reescalado es incorrecto ya que las variables en el modelo que usa un mínimo cuadrado inicial son diferentes del lazo. Además, todavía tiene una [matemática] X [/ matemática] mal acondicionada en altas dimensiones.

Referencias
Adaptive Lasso review paper http://www3.stat.sinica.edu.tw/s…

Gracias por el A2A.

No voy a entrar en las matemáticas aquí (soy más un analista de datos que un estadístico teórico), pero el objetivo de LASSO es reducir el sesgo de las estimaciones de OLS mediante penalización.

Si comienza con una sola hipótesis a priori y prueba solo esa hipótesis, las estimaciones de OLS son AZUL (las mejores estimaciones lineales insesgadas). En este caso, LASSO está contraindicado.

Sin embargo, con bastante frecuencia, deseamos hacer más que eso. Tenemos una situación en la que tenemos muchas variables independientes potenciales y deseamos descubrir cuáles incluir en la regresión. Desde mi punto de vista (y el de muchas otras personas), la mejor manera de hacerlo es utilizar el conocimiento sustantivo. Sin embargo, a veces el conocimiento subnatural no está allí; otras veces el experto sustantivo se niega a decirle al analista de datos. (Sí, esto pasa).

Entonces, una cosa incorrecta que hacer es cualquier forma de selección de variables paso a paso, hacia adelante o hacia atrás. Otro es el cribado bivariado. Todo esto dará resultados incorrectos: los errores estándar son demasiado pequeños, los valores de p son demasiado pequeños, los parámetros se desvían de 0.

LASSO es un intento de corregir esto. Al volver a escalarlo, está reintroduciendo sesgo, no eliminándolo. (Al menos, si el LASSO funcionó correctamente).