La codificación dispersa es un método para encontrar un pequeño número de funciones básicas para representar una señal de entrada. En cierto modo, es similar al análisis de componentes principales y la detección comprimida. Comprenda esto en términos de una señal 1D. Digamos que tiene una señal de serie temporal 1D infinitamente larga que tiene algún tipo de “naturaleza”. Cuando representa esta señal de serie temporal 1D en el dominio de Fourier (frecuencia), obtiene algunos coeficientes que representan la señal completa. Ahora, puede comprender la señal de series de tiempo 1D infinitamente larga con solo unos pocos coeficientes en un dominio diferente, en este caso, el dominio de Fourier. Básicamente, desea encontrar estos pocos coeficientes (la base) de una señal de entrada en el dominio alternativo y reconstruir su señal con estos pocos coeficientes. Luego, determine qué tan cerca está la señal reconstruida de su señal de entrada original. Para hacer esto, debe minimizar | input_signal – reconstruction_of_input_signal |
El menor número de coeficientes o base de su señal de entrada que reduce el error anterior es la representación de base optimizada de su señal de entrada. En ese sentido, puede usar la norma L0. La norma L0 calcula el número de coeficientes no nulos / no triviales o la representación básica de su señal de entrada. L0 es convexo y difícil de minimizar. Por lo tanto, la alternativa es usar la norma L1. La norma L1 calcula la suma de coeficientes no nulos / no triviales o la representación básica de su señal de entrada. L1 es convexo y puede resolverse utilizando técnicas como Basis Pursuit. La norma L2 es con la que estamos más familiarizados y calcula la diferencia cuadrada euclidiana entre funciones básicas. La norma L2 se usa en formulaciones de mínimos cuadrados.
Básicamente, la norma L0 parece una función Delta de Dirac, la norma L1 parece un diamante y la norma L2 parece un círculo.
- ¿Qué herramientas matemáticas puedes usar para analizar el comportamiento de las redes neuronales en el tiempo?
- ¿Cómo soluciona un bosque aleatorio los problemas de regresión (no normalidad, heterocedasticidad, multicolinealidad, valores atípicos, valores faltantes y variables categóricas)?
- Si quiero comenzar con el aprendizaje profundo, ¿debería comprar una GPU de gama baja o aprovechar una solución en la nube? ¿Cuál es más barato / mejor?
- ¿Cómo se logra la detección de afirmaciones en el procesamiento del lenguaje natural?
- ¿Qué son los hiperparámetros en el aprendizaje automático?
Andrew Ng de Stanford tiene algunas notas de conferencia sobre esto. También tiene código en:
http://ai.stanford.edu/~hllee/so…
Tesis sobre codificación dispersa para visión artificial:
http://web.eecs.umich.edu/~hongl…
Codificación dispersa para análisis de imágenes, tutorial CVPR y caja de herramientas MATLAB:
http://www.di.ens.fr/~mairal/tut…
Espero que esto ayude,
Ankur Kumar
