¿Cómo se determina el error estándar para los coeficientes de regresión producidos por los métodos de regresión dispersa (por ejemplo, Regresión de cresta, LASSO, Red elástica, etc.)?

La respuesta a esta pregunta depende tanto del método de interpolación como de la naturaleza de la incertidumbre (supuesta) de los datos.

Si se necesita una herramienta universal, jackknifing y bootstrapping son métodos clásicos no paramétricos que son independientes tanto de la clase de modelo como de la incertidumbre de entrada, incluso si la incertidumbre es desconocida.

En jackknifing, el modelo se ajusta a varios subconjuntos del conjunto de datos y se estima la variación resultante en la salida del modelo.

En bootstrapping, se generan varias muestras nuevas al volver a muestrear la entrada seleccionando puntos de datos con reemplazo, es decir, permitiendo que los puntos de datos se seleccionen varias veces.

Estos métodos de remuestreo no necesariamente producen estimaciones confiables para conjuntos de datos dispersos. (No se “ensanchan” en regiones descubiertas, si la clase de modelo produce un interpolante estable). También incurren en un considerable costo computacional y de almacenamiento.

Ambos métodos solo estiman la incertidumbre de la estimación puntual, por lo que si el modelo es un suavizado en lugar de un interpolante, la estimación resultante no es una medida de la incertidumbre del proceso original de generación de muestras.

El Jacknifing se puede realizar en un conjunto completo de subconjuntos, lo que resulta en un estimador determinista, mientras que el bootstrapping siempre es un proceso aleatorio, dando un resultado diferente cada vez. Bootstrapping, por otro lado, se puede usar para estimar la distribución completa, mientras que el jacknifing solo puede estimar la varianza.

Si los valores de incertidumbre necesitan consultarse en un número grande o desconocido de puntos de datos, se puede ajustar un metamodelo adecuado a las muestras de incertidumbre.

https://en.wikipedia.org/wiki/Ja…
https://en.wikipedia.org/wiki/Bo…

En estos casos no se conocen resultados de rendimiento de forma cerrada. En cambio, uno necesita hacer algún tipo de arranque. Comenzaría con el remuestreo de Jackknife Jackknife