El uso del término “maldición de la dimensionalidad” en el aprendizaje automático se relaciona con el hecho de que uno puede imaginar fácilmente una función objetivo (que debe aprenderse) que es muy no uniforme, por ejemplo, que tiene un número exponencial de modos (altibajos) ), con respecto a la dimensionalidad (el número de variables de entrada escalares). Imagine que para producir una buena predicción, nuestro alumno necesita distinguir (producir una respuesta sustancialmente diferente) entre 10 valores diferentes de cada una de las n variables. Entonces puede ser necesario distinguir entre 10 ^ n configuraciones diferentes del vector n-dimensional de entrada. Con n fácilmente en los cientos, miles o más, esto es mucho más que la cantidad de ejemplos que uno puede esperar reunir (o incluso la cantidad de átomos en el universo). Con la mayoría de los algoritmos de aprendizaje, y en particular con los algoritmos de aprendizaje no paramétricos clásicos (p. Ej., Vecino más cercano, Parzen, SVM de kernel gaussiano, proceso gaussiano de kernel gaussiano, etc.) el alumno necesitará ver al menos un ejemplo para cada uno de estos muchos configuraciones (al menos tantas como sea necesario para cubrir todas las variaciones de configuraciones de interés), con el fin de producir una respuesta correcta en torno a cada una de estas configuraciones, una que sea diferente del valor objetivo requerido para otras configuraciones cercanas.
Sin embargo, la verdadera dificultad no está en la dimensionalidad, sino en la complejidad (número de modos, número de subidas y bajadas, número de regiones diferentes en el espacio de entrada que deben distinguirse) de la función objetivo a aprender. Una imagen de dígitos puede tener 32 × 32 = 1024 píxeles de nivel de gris de entrada, pero puede ser que la función que uno necesita aprender (por ejemplo, un clasificador para distinguir entre 3 y 4) puede ser muy suave (de hecho, un clasificador lineal ya funcionará) un trabajo razonable, en este caso). Si hay una llamada variedad (región de dimensión inferior) cerca de la cual se congregan los ejemplos, entonces la dimensionalidad real de interés puede ser mucho menor que el número de variables de entrada. Pero incluso si la función objetivo se puede capturar en un múltiple de baja dimensión, lo que realmente importa es cuánto varía en ese múltiple, es decir, el número de regiones diferentes que deben distinguirse, porque esto corresponderá al número de entrenamiento ejemplos necesarios para lograr un buen rendimiento, cuando se utiliza un alumno local no paramétrico estándar (como el anterior).
Por otro lado, incluso si la función de destino es aparentemente muy compleja (por ejemplo, se debe distinguir una gran cantidad de configuraciones vecinas), ya sea en una dimensión alta o baja, aún es posible generalizar bien a partir de un número razonablemente pequeño de ejemplos de entrenamiento, siempre y cuando esta aparente complejidad esté realmente organizada. Si estos altibajos tienen alguna estructura (lo más simple que se le ocurre son las repeticiones del mismo patrón), entonces algunos algoritmos de aprendizaje pueden captar eso. Para que esto suceda, el algoritmo de aprendizaje debe ser capaz de generalizar de manera no local, incluso a regiones no “cubiertas” por ejemplos de capacitación, lejos de los ejemplos de capacitación. Por lo tanto, una pregunta de investigación interesante es preguntar en qué medida algunos algoritmos tienen o no el potencial de generalizarse de esta manera no local. Se cree que los algoritmos de aprendizaje profundo tienen ese potencial. Vea mi artículo con Yann LeCun titulado ” Escalando algoritmos de aprendizaje hacia la IA”, http://www.iro.umontreal.ca/~lis….
- ¿Alguien ha encontrado un análisis matemáticamente riguroso de la unidad LSTM?
- Cómo aprovechar al máximo el libro 'Programación de la inteligencia colectiva'
- ¿Cuáles son las restricciones de ordenamiento de la base herbrand en el aprendizaje metainterpretativo?
- ¿El aprendizaje automático conducirá a la mercantilización del conocimiento?
- ¿Qué está sucediendo en este gráfico de pérdida de precisión de la red?
