La regularización se usa a menudo para problemas de alta dimensión. La respuesta de Rice Blues es correcta cuando se aplica a problemas inversos, pero la aplicación es más general.
Es cierto que la regularización a menudo se usa para problemas no identificados (llamados mal planteados) y está relacionada con el sobreajuste, que es un problema cuando el criterio más importante es la predicción, como en la mayoría de las aplicaciones de aprendizaje automático. En esos casos, la regularización compensa el sesgo de las estimaciones con la varianza.
Sin embargo, en la mayoría de los casos, los economistas y economistas no están interesados en la predicción (en el sentido de LD) sino en estimaciones imparciales. La regresión de cresta produce estimaciones sesgadas, al igual que la red elástica . Hasta donde yo sé, la forma más común de regularización en economía es el LASSO, que se utiliza en la selección de parámetros / modelos. En lugar de reducirse, el LASSO impone un umbral difícil para pequeñas estimaciones y las pone a cero. Por lo tanto, puede usar el LASSO como primer paso en un espacio covariable de alta dimensión y luego usar las covariables restantes con coeficientes distintos de cero en una estimación imparcial de segunda etapa como mínimos cuadrados.
- Cómo construir y ejecutar mi primera red de aprendizaje profundo
- ¿Cómo puede ayudar una formación en procesamiento de señales en una carrera en ciencia de datos?
- Cómo crear mi propia biblioteca de tokenizadores en PNL
- ¿Cómo está estudiando Conner Davis el aprendizaje automático?
- ¿Cómo se usa el modelo predictivo en la regresión logística?
Literatura: consulte la sección “Selección de variables” en Varian, Hal R. 2014. “Big Data: nuevos trucos para la econometría”. Journal of Economic Perspectives, 28 (2): 3-28.
