Editar: Doh, me acabo de dar cuenta de que podrías estar preguntando sobre Robust-PCA y no sobre la regresión de componentes principales (también conocida como regression-PCA). Para lo que vale, aquí hay una respuesta sobre esto último.
A veces, durante la regresión, los grupos de variables de entrada ( covariables) serán colineales (ver otra pregunta sobre multicolinealidad). Esto significa que las entradas que son muy predictivas entre sí implican un tipo de redundancia desde el punto de vista de la salida: si puede predecir [matemáticas] y [/ matemáticas] bien con [matemáticas] x [/ matemáticas] , no necesita otra copia cerrada de [math] x [/ math].
- Si uno está tratando de construir un codificador automático para el conjunto de datos MNIST, ¿debería normalizar los datos sin procesar?
- Cómo convertir datos categóricos en numéricos por Excel
- ¿Cómo debe comenzar un principiante con la investigación en Machine Learning?
- ¿Qué es la enseñanza profunda?
- En Machine Learning: ¿por qué siempre entrenamos una muestra en lugar de todo el conjunto de datos / base de datos?
Desafortunadamente, la regresión de OLS ve eso e intenta compensar asignando una responsabilidad similar a las entradas colineales. En el ejemplo anterior, piense en cuántos planos diferentes existen que son casi óptimos (en el sentido de mínimos cuadrados) …
Infinito, ¿verdad? Cualquier plano que pase a través de los puntos, independientemente de la rotación alrededor de los puntos verdes: imagine un tipo de eje anclado en el aire que atraviesa los puntos verdes y luego el plano rojo gira sobre él.
Para empeorar las cosas, al perturbar un poco los datos, los pesos de regresión final, que esencialmente controlan el gradiente del plano, podrían ser muy diferentes. Esto indica que el modelo es inestable .
Entonces, ¿cuál es una forma de combinar principios? variables de entrada que se correlacionan? Bueno, esto es lo que hará Regression-PCA:
Primero, hará PCA en las entradas (los puntos azules), es decir, encontrará una línea azul en el plano XZ para proyectar los puntos azules (de modo que se minimice la distancia de proyección total). Esta línea ahora actúa como un nuevo eje: llámelo [math] b [/ math],
y el problema de regresión original ahora se resuelve en el marco de referencia de [math] por [/ math], una regresión lineal de variable única.
Entonces, en cierto modo, dejamos que PCA encuentre esos grupos de variables similares, en lugar de dejarlo en manos de OLS con el peligro inherente de inestabilidad ilustrado anteriormente.
Finalmente, para replantear la regresión al espacio original [math] xzy [/ math], cualquier coeficiente de regresión que se le haya dado a la variable derivada b (aquí es 0.5), se compartirá equitativamente de acuerdo con los pesos del eje derivado de PCA (entonces los pesos finales de RPCA serán [matemática] (0.25, 0.25) [/ matemática]).
