Para discutir sobre la próxima “gran cosa” para reemplazar el aprendizaje profundo, podría ser necesario analizar qué es la IA y cuánto ha alcanzado el aprendizaje profundo y sus deficiencias.
La IA tiene como objetivo construir inteligencia en las máquinas para que otros agentes inteligentes, es decir, los humanos puedan percibirlos como inteligentes. Los humanos debemos juzgar y concluir que dicho sistema es verdaderamente inteligente por cualquier medida de inteligencia.
Normalmente juzgamos la inteligencia como la capacidad de aprender de ejemplos o experiencias con una supervisión mínima, generalmente por interacciones con el entorno u otros agentes inteligentes.
Al igual que un niño, aprendería un nuevo idioma con una supervisión mínima junto con otras tareas complejas, como navegar por el entorno. La capacidad de aprender con éxito una nueva tarea y generalizarla a otras tareas no relacionadas es un muy buen indicador de inteligencia.
El aprendizaje profundo es en sí mismo una idea revolucionaria desde sus humildes comienzos en los años 80 hasta convertirse en un algoritmo de aprendizaje de vanguardia en la actualidad, ha experimentado muchos cambios y ha logrado mucho.
El aprendizaje profundo ha realizado muchos algoritmos tradicionales en áreas como la clasificación de imágenes, la comprensión del lenguaje natural, el reconocimiento de voz y muchos más.
El aprendizaje profundo muestra cierta inteligencia en el sentido de que puede generalizarse notablemente muy bien, pero solo cuando las tareas están relacionadas. Es difícil para el sistema transferir su representación aprendida a otras tareas no relacionadas.
Una cosa en la que el aprendizaje profundo es muy bueno es el mapeo. El aprendizaje profundo literalmente solo aprende a mapear un vector de alta dimensión a otro vector de salida con cierta tolerancia a ciertas transformaciones. Pero no hace lo siguiente muy bien.
- Aprendizaje de una sola vez: el aprendizaje profundo claramente no es un aprendizaje de una sola vez. El aprendizaje profundo requiere una gran cantidad de datos de entrenamiento debido a la gran cantidad de parámetros necesarios para ser ajustados. El aprendizaje de una sola vez es verdadera inteligencia como se observa en la capacidad de los humanos para aprender de algunos ejemplos.
- Extrayendo significado: por ejemplo, la capa de salida solo da una puntuación que muestra qué clases están presentes y nada más. No extrae significado geométrico o significado de uso. Quizás un mejor ejemplo esté en la gramática, si le pregunto a un robot que habla “¿puedes traerme algo de lo que pueda beber?” o “¿puedes traerme una taza?” ¿Cómo puede responder? Las dos declaraciones tienen el mismo significado. Este ejemplo podría no ser un mejor ejemplo, pero está claro que hay muchas maneras de decir lo mismo que es evidente en las conversaciones de persona a persona. El significado es difícil de definir, pero implica encontrar relaciones entre eventos o tareas no relacionadas, como un gráfico de conocimiento.
- Aprendizaje no supervisado: la mayoría de las arquitecturas de aprendizaje profundo, como las redes neuronales convolucionales, son modelos de aprendizaje supervisado. Gran parte de la verdadera IA se basa en modelos de aprendizaje no supervisados. Aprender con una supervisión mínima es una buena señal de inteligencia, ya que la mayoría de los humanos pueden aprender cosas complejas sin supervisión.
- Flexibilidad: el aprendizaje profundo es engorroso y requiere máquinas de alta gama para aprender modelos grandes. Una vez que el sistema aprende, se vuelve rígido y su funcionalidad se limita solo a las tareas que aprendió. Usted nota que una mosca de la fruta o una hormiga tiene solo unas 250K neuronas, pero su cerebro exhibe una multitud de funcionalidades en comparación con las redes neuronales profundas de última generación a gran escala actuales.
Por lo tanto, mi argumento aquí es que cualquier cosa que tenga que reemplazar el aprendizaje profundo obviamente debe funcionar bien en los puntos mencionados anteriormente y además de los siguientes puntos:
- Eficiencia computacional: creo que la arquitectura neural profunda se implementa de manera demasiado ingenua. Las neuronas en los cerebros biológicos claramente no siempre están activas. Debe haber una forma de acelerar los cálculos utilizando la dispersión en la naturaleza de los patrones de activación neural, no solo mediante el uso de GPU. Por lo tanto, la propagación de la señal a través de la red se dirigiría a las regiones correctas de la red, algo así como dividir y conquistar, lo que acelera aún más las cosas.
- Aprendiz de una sola vez: por lo general, un sistema de este tipo puede realizarse mediante la extracción de representaciones atómicas o componentes significativos en las señales de entrenamiento para que cuando se encuentre una nueva señal, el sistema adivine correctamente. A diferencia del aprendizaje profundo, los componentes aprendidos pueden aprenderse en una sola capa y pueden ser más significativos.
- Aprendizaje incremental: el aprendizaje nunca se detiene en los humanos, siempre estamos aprendiendo a un nivel consciente y subconsciente. Un verdadero sistema de inteligencia artificial debe tener la capacidad de aprender continuamente. Esto es importante en casos como las aplicaciones robóticas.
- Transferencia de conocimiento: aprender una tarea mejora una tarea no relacionada previamente aprendida. Este es un concepto de transferencia de conocimiento y puede dar como resultado procesos de generación de ideas novedosos y totalmente nuevos, como en el arte y la música, mediante los cuales las máquinas producirían lo que la gente llamamos “obras de arte”. La capacidad de transferir conocimiento es realmente necesaria para el aprendizaje de una sola vez. Este es un concepto muy importante en el aprendizaje automático pero difícil de realizar en la realidad.
Hay mucho que hacer en la IA para lograr realmente la inteligencia en las máquinas. El aprendizaje profundo puede ser el estado actual de la técnica, pero no significa que haya llegado para quedarse.
Además de lo que ya se ha dicho, hay muchos problemas con el aprendizaje profundo que lo hacen incapaz en algunas configuraciones.
Los algoritmos futuros probablemente intentarán imitar más la forma en que los humanos resuelven problemas en lugar de tratar de emular las neuronas cerebrales.
Al igual que los aviones no agitan las alas, a veces imitar sistemas biológicos exactos puede no ser el mejor enfoque para construir un sistema de IA real. Puede haber otras motivaciones en cuanto a por qué las neuronas biológicas están estructuradas de la manera en que no son solo por razones computacionales.
Espero que esto ayude.
