Regresión lineal
La regresión lineal proporciona una estimación que minimiza la suma del error cuadrado. Para saber más sobre regresión lineal, consulte https://www.quora.com/Whats-the-…
- Computational Science (Scientific Computing): ¿Qué es la teoría funcional de la densidad (DFT)?
- ¿Cuáles son algunos de los problemas NP-Complete más notables?
- ¿Cuál es una explicación para los tipos de sistema operativo?
- Cómo encontrar un puente en un gráfico
- ¿Cuáles son algunos de los exámenes de certificación de Cloud Computing aprobados a nivel mundial?
Para P = 2 caso,
[math] \ text {Min} \ text {SSE} \ tag {1} [/ math]
[matemáticas] Min \ sum_ {i = 1} ^ N (y_i – \ beta_0 + \ beta_1 x_ {1i} + \ beta_2 x_ {2i}) ^ {2} \ tag {2} [/ matemáticas]
Regresión de cresta
La regresión de cresta proporciona una estimación que minimiza la suma del error al cuadrado y satisface la restricción de que [math] \ sum_ {j = 1} ^ P \ beta_j ^ 2 <= s [/ math]
[matemáticas] Min \ sum_ {i = 1} ^ N (y_i – \ beta_0 + \ beta_1 x_ {1i} + \ beta_2 x_ {2i}) ^ {2} \ tag {3} [/ matemáticas]
Sujeto a
[matemáticas] \ sum_ {j = 1} ^ 2 \ beta_j ^ 2 <= s \ tag {4} [/ matemáticas]
Al usar el multiplicador de Lagrange, podemos escribir la ecuación anterior como,
[matemáticas] Min \ sum_ {i = 1} ^ N (y_i – \ beta_0 + \ beta_1 x_1i + \ beta_2 x_2i) ^ {2} + \ lambda (\ sum_ {j = 1} ^ 2 \ beta_j ^ 2 -s ) \ tag {5} [/ math]
s es constante No tiene ningún impacto en la solución. Entonces, podemos escribir la ecuación anterior como,
[matemáticas] Min \ sum_ {i = 1} ^ N (y_i – \ beta_0 + \ beta_1 x_1i + \ beta_2 x_2i) ^ {2} + \ lambda (\ sum_ {j = 1} ^ 2 \ beta_j ^ 2) \ etiqueta {6} [/ matemáticas]
La ecuación anterior en forma de matriz.
[matemáticas] Min \ underbrace {(Y – \ beta ^ {T} X) ^ {T} (Y – \ beta ^ {T} X)} _ \ text {Suma del término de error Cuadrado} + \ underbrace {\ lambda \ beta ^ {T} \ beta} _ \ text {Término de penalización} \ tag {7} [/ math]
Regresión de lazo
La principal diferencia entre la regresión de cresta y lazo es una forma de la región de restricción. La regresión de cresta utiliza la norma [matemática] L_2 [/ matemática] para una restricción. Para el caso P = 2 (donde P es el número de regresores), la forma de la región de restricción es un círculo. Lasso usa la norma [math] L_1 [/ math] para una restricción. Para el caso P = 2, la forma de la región de restricción es diamante. La estimación del lazo es una estimación que minimiza la suma del cuadrado y satisface la restricción a continuación.
Para P = 2 caso,
[matemáticas] Min \ sum_ {i = 1} ^ N (y_i – \ beta_0 + \ beta_1 x_ {1i} + \ beta_2 x_ {2i}) ^ {2} \ tag {1} [/ matemáticas]
sujeto a
[matemáticas] \ sum_ {j = 1} ^ 2 | \ beta_j | <= s \ tag {} [/ math]
Al usar el multiplicador de Lagrange, la ecuación anterior se convierte en,
[matemáticas] Min \ sum_ {i = 1} ^ N (y_i – \ beta_0 + \ beta_1 x_ {1i} + \ beta_2 x_ {2i}) ^ {2} + \ lambda (\ sum_ {j = 1} ^ 2 | \ beta_j | – s) \ tag {2} [/ math]
Tanto [math] \ lambda [/ math] como s son constantes, por lo que la ecuación anterior se convierte en
[matemáticas] Min \ underbrace {\ sum_ {i = 1} ^ N (y_i – \ beta_0 + \ beta_1 x_1i + \ beta_2 x_2i) ^ {2}} _ \ text {suma del término de error cuadrado} + \ underbrace {\ lambda (\ sum_ {j = 1} ^ 2 | \ beta_j |)} _ \ text {Término de penalización} \ tag {3} [/ math]
