¡Seguro!
En realidad, hay lugares en los que tiene sentido hacerlo de esta manera.
El siguiente ejemplo puede no ser realista para la regresión lineal (o realista en cualquier caso), pero le da la idea general.
- ¿El parámetro C afecta a una clase SVM?
- ¿Cuáles son los pensamientos de Yoshua Bengio sobre los modelos gráficos probabilísticos?
- En una red neuronal, ¿cómo podemos resolver (o limitar) el problema de la saturación de las neuronas?
- ¿Cuáles son las mejores conferencias sobre aprendizaje automático para el procesamiento de imágenes médicas en 2016?
- ¿Qué teoría debería aprender a crear un algoritmo para clasificar los textos automáticamente?
Suponga que tiene registros [matemáticos] 10 ^ {16} [/ matemáticos] con 1000 variables.
Entonces, la matriz de diseño, [matemáticas] X [/ matemáticas], es [matemáticas] 10 ^ {16} \ veces 1000 [/ matemáticas].
Entonces [math] (X ^ TX) ^ {- 1} [/ math] toma [math] O ((10 ^ {16}) ^ 2) = O (10 ^ {32}) [/ math] flops, y suponiendo que tenemos float32’s, la matriz de datos original toma [math] 4B \ times 10 ^ {16} \ times 1000 \ simeq 10 PB [/ math] – diez petabytes de datos.
Intenta ajustar eso en la RAM.
Entonces, en un escenario como este, en realidad tiene sentido usar la regresión OLS con un optimizador.
Un ejemplo quizás más realista es cuando colocamos un mínimo de cuadrados dentro de una red neuronal profunda. En tal caso, debido a que ese no será nuestro único ajuste, tenemos que usar un optimizador, una solución analítica no nos ayudará (mucho, a menos que realmente nos guste ser masoquistas y codificar el resultado). . No, gracias.)
Pero, en casos normales (es decir, no estamos tratando con datos increíblemente grandes), generalmente no usaríamos un optimizador para la regresión de mínimos cuadrados. Demasiado trabajo sin ganancia.
