Por lo general, los problemas de alta dimensión están subdeterminados, es decir, un tamaño de muestra mucho más pequeño que la dimensionalidad [matemática] n << p [/ matemática]. Por lo tanto, algunas restricciones son necesarias para incluso determinar el problema. La forma en que funciona la regularización es que hace que la dimensionalidad intrínseca del problema sea pequeña, de modo que permanece solucionable en el espacio de alta dimensión.
Considere un ejemplo simple, resolviendo un sistema lineal de ecuaciones [math] \ mathbf {y} = A \ mathbf {x} [/ math]. Si [math] A [/ math] es gordo , es decir, [math] n << p [/ math], entonces el problema está subdeterminado. Ahora, considere que alguien le dice que el 90% de las columnas en [matemáticas] A [/ matemáticas] son simplemente transformaciones lineales del otro 10%. Esta es una restricción estructural sobre el problema. En ese caso, puede hacer PCA, reducir la dimensionalidad a la mitad y resolverlo. Sin embargo, en general, incluso si puede adivinar que algunas columnas son linealmente dependientes, no puede determinar explícitamente esta fracción (es decir, 90%). En tales escenarios, un buen regularizador ayudará. En este caso, por ejemplo, LASSO hará un desastre, ya que hay tantas covariables correlacionadas. Mientras que la regresión de PCA puede ser excelente.
- ¿Puede la nueva memoria 3D Xpoint reemplazar la RAM que usamos hoy?
- ¿Por qué se eligen los símbolos de asterisco y ampersand para trabajar con memoria en lenguajes de programación?
- ¿Por qué se usa x86 para denotar 32 bits?
- Cómo desarrollar suficiente conocimiento de aprendizaje automático para comprender a fondo los trabajos de investigación que se publican en DeepMind
- ¿Google, Facebook u otros pesos pesados tecnológicos reclutarán de UC Davis, una escuela que solo ocupa el puesto 34 en CS?
