¿Es una variable significativa en un modelo de regresión lineal?

Depende del tipo de problema para el que está creando el modelo. Si se trata de un modelo explicativo , puede usar:

  • El criterio AIC , y mantener las variables que le dan el mejor valor
  • Suponiendo que tiene algunas variables insignificantes, podría realizar una eliminación de variables hacia adelante o una eliminación de variables hacia atrás de variables insignificantes una por una al comparar el R cuadrado ajustado.

Sin embargo, su valor absoluto de R cuadrado (la precisión del modelo) se vería afectado, la eliminación es una compensación entre excluir variables insignificantes y aumentar los valores de R cuadrado, ya que generalmente el objetivo es descubrir las variables que afectan significativamente el resultado .

Si está creando un modelo predictivo , no necesita preocuparse por la importancia de las variables, ya que el objetivo final son las predicciones precisas. Con cada variable que se elimina, el poder predictivo del modelo disminuye, por lo tanto, la eliminación de variables generalmente no es aconsejable al construir un modelo de regresión lineal predictivo.

La importancia no debe ser la prueba de si una variable está en un modelo.

No hay una estadística única que le permita construir modelos sanos; Requiere juicio. Si debe utilizar un método automatizado, LASSO es quizás el mejor. Pero considere:

  1. No obstante, una variable no significativa podría ser importante si el tamaño de la muestra es pequeño.
  2. Una variable significativa podría no ser importante si el tamaño de la muestra es grande.
  3. Una variable que tiene un tamaño de efecto pequeño podría ser interesante si la teoría sugiere que el tamaño del efecto debería ser grande
  4. Las variables independientes también actúan como covariables, es decir, pueden afectar los parámetros para otras variables (al menos, a menos que haya un equilibrio perfecto)
  5. Podría haber interacciones que sean significativas y grandes con un efecto principal que no sea significativo y / o pequeño

En resumen, construir un buen modelo requiere pensamiento y experiencia sustantiva.

También debe aplicar los criterios MÁGICOS (Abelson):
Magnitud: ¿qué tan grande es?
Articulación: ¿qué tan específico es?
Generalización: ¿en qué medida se aplica?
Intereses – auto explicativo
Creíble: cuanto menos creíble sea el reclamo, más evidencia necesita.

Puede utilizar una versión modificada de la estadística F para trabajar con este, o incluso mejor, el AIC (Criterio de información de Aikaike).

Puede encontrar información sobre esto aquí:
http://www.csse.monash.edu.au/~d

Puede calcular el AIC para modelos usando R, y le sugerirá las mejores variables para eliminar / agregar

¡Feliz regresión!

  1. Básicamente, desea ver si el coeficiente de la variable incluida en el modelo es estadísticamente significativo (diferente de 0). Esa es la prueba T.
  2. Mira el R cuadrado: te dice qué fracción de la varianza en la variable dependiente explica tu modelo. Si no es “suficientemente bueno”, intente agregar otras variables.

EDITADO: Como lo señaló @Peter Flom, solo porque una variable no sea significativa no significa que no sea importante. Puede tener un efecto combinado significativo con otras variables (p. Ej., X1 * X2).