¿Me importa la multicolinealidad o la interacción cuando mi objetivo es la predicción?

Su pregunta es sobre el impacto de la multicolinealidad en la predicción. Las respuestas ofrecidas aquí se centraron en el impacto de los coeficientes. De hecho, la multicolinealidad infla el error estándar de los coeficientes que resultan en su inestabilidad. Esta inestabilidad crea un riesgo en la interpretación de coeficientes y puede inducir a error a la prueba de hipótesis (por ejemplo, pruebas t) de coeficientes. Entonces, desde esta perspectiva, estoy de acuerdo con las otras respuestas. PERO, no hizo la pregunta de la interpretación multicolinealidad y coeficiente. Preguntaste sobre predicción . La multicolinealidad no afecta el ajuste general ni las predicciones del modelo. Esto no es para abogar por arrojar variables redundantes. De hecho, si dos variables predictoras son casi una y la misma (por ejemplo, PIB y PNB), entonces es un poco tonto tener ambas variables en el modelo (incluso si su inclusión no tiene efectos adversos en la predicción). Parece más razonable excluir una de las variables sobre el principio de parsimonia modelo (todo igual, vaya con el modelo más simple).

Si la colinealidad de algunas de sus características es alta, entonces la matriz de datos resultante no es de rango completo: las variables no son linealmente independientes, por lo que es una matriz degenerada. ¡Por lo tanto, tanto él como la matriz de momento utilizada para calcular los coeficientes de su regresión no son invertibles!

Otra forma de decir esto es que sus coeficientes serían altamente inestables ante cambios menores en su espacio de características, si es que pueden converger numéricamente.

En Wikipedia se ofrece una explicación más completa de las trampas introducidas por la multicolinealidad.

Aaron Brown dio una buena respuesta sobre la colinealidad.

También te interesan las interacciones. Si no se incluye una interacción, puede obtener predicciones totalmente erróneas.

Compongamos algunos datos (este es el código R, cualquier cosa después de un # es un comentario):

set.seed(1234) #Set random seed

x1 <- rnorm(1000) #Random normal, mean 0, sd 1

x2 <- rnorm(1000)

y <- x1 + 3*x2 + 5*x1*x2 + rnorm(1000,0,5)

Ahora, cree regresiones con y sin la interacción:

m1 <- lm (y ~ x1 + x2) # Modelo sin interacción

m2 <- lm(y~x1*x2)

Entonces podemos comparar los modelos

summary(m1) #Y = 0.44 + 1.5x1 + 2.7x2

summary(m2) #Y = 0.15 + 1.1x1 + 2.8x2 + 4.9x1x2

y podemos ver el valor máximo de los residuos:

max(abs(m1$residuals)) #44.03

max(abs(m2$residuals)) #15.56

y eso es para los datos que realmente están en el conjunto de datos. Si tiene datos que necesitan extrapolación, las cosas se vuelven aún más extrañas.

Depende del grado de multicolinealidad, por lo que generalmente esto implica algunas estadísticas de prueba (como el AIC / BIC), dependiendo de si está utilizando un marco frecuentista o bayesiano.