¿Qué es una explicación intuitiva de una regresión multivariada?

La regresión multivariada es una extensión de la regresión lineal (y la regresión múltiple si hay múltiples predictores considerados en el modelo) a los resultados multivariados. Por ejemplo, uno podría estar interesado en cómo los factores de admisión impactan las calificaciones dentro de un conjunto de clases básicas para un programa dado. Digamos que estamos interesados ​​en el desempeño de los estudiantes de matemáticas en estadística, teoría de la probabilidad y un curso avanzado en estadísticas basadas en datos demográficos, puntajes SAT y GPA de secundaria. Se realizaría una regresión multivariada múltiple, ajustando un modelo de predictores a las calificaciones que una muestra de estudiantes había obtenido en esos 3 cursos. El resultado del modelo dará una estimación de los 3 grados, dado el conjunto de predictores. En lugar de predecir un vector a través de la ecuación de regresión, estaría prediciendo un espacio tridimensional.

Para comprender la regresión multivariada, comencemos discutiendo la regresión lineal en general.

A menudo, uno tiene un conjunto de datos de variables asociadas (por ejemplo, la altura, la edad y el peso de una persona) y quiere medir la fuerza de la asociación entre cada par de variables. La regresión lineal podría ayudar a analizar qué variables están más relacionadas. Alternativamente, uno podría tener una cantidad limitada de datos sobre una cantidad deseable, pero difícil de medir (físicamente desafiante, costosa, etc.) y uno desea desarrollar una ecuación predictiva para esa cantidad basada en variables fáciles de medir. Esto también podría beneficiarse de la regresión lineal.

Las técnicas de regresión se han desarrollado en múltiples campos con varios objetivos, por lo que la terminología a menudo es variada. Por ejemplo, los términos “entrada”, “predictor”, “regresor”, “variable explicativa” y “variable independiente” suelen ser sinónimos. Del mismo modo, los términos “salida”, “predicción”, “variable de respuesta” y “variable dependiente” a menudo son sinónimos. En mi opinión, el término “variable independiente” es a menudo una mala elección ya que el conjunto de “variables explicativas” a menudo puede no ser realmente variables aleatorias independientes. Pero este término todavía se usa ampliamente.

La regresión lineal simple [SLR] es el juego de ajustar una línea a una sola variable de salida dada una sola entrada: [matemática] y = \ alpha + \ beta * x [/ matemática]

La regresión lineal múltiple es cuando uno quiere retroceder linealmente una variable de salida contra múltiples entradas. Es similar a trazar una línea en un espacio (N + 1) -dimensional: [matemática] y = \ alpha_ {0} + \ alpha_ {1} x_ {1} + \ cdots + \ alpha_ {N} x_ {N }[/mates]

La regresión lineal multivariada —una regresión lineal general— es el método implementado cuando tiene múltiples variables de respuesta que desea hacer retroceder sobre uno o más predictores. En el caso más simple de regresión lineal general, uno tiene múltiples variables de salida regresadas contra una sola entrada. Esto es similar al cálculo multivariado en el que se trata de vectores de funciones en un solo parámetro, por ejemplo, tres componentes de campo vectorial que evolucionan con el tiempo.