Lo que impide que las redes neuronales (NN) aborden adecuadamente los problemas simbólicos de inteligencia artificial (IA) son:
- La dependencia de la diferenciabilidad o “suavidad” de las funciones objetivas. Los algoritmos de descenso de gradiente de retropropagación + lote (estocástico) son los algoritmos de aprendizaje predeterminados para NN. Tal enfoque de aprendizaje necesita una superficie de error suave para buscar parámetros óptimos.
- No interactúan bien con grandes depósitos de memoria. La memoria y el razonamiento simbólico van de la mano. Los humanos almacenamos conceptos discretos o hechos discretos en la memoria. Nuestros cerebros poseen la capacidad de razonar simbólicamente porque probablemente no aprenden a través de la definición de una superficie de error suave y diferenciable y usan la memoria para almacenar esos hechos para uso futuro. El uso de la memoria y el descubrimiento de los hechos necesarios para el razonamiento es un problema difícil que la investigación de NN ha enfrentado durante los últimos 30 años más o menos.
- Principalmente son solo aproximadores de funciones de mapeo. Trae redes neuronales recurrentes (RNN) y tendrás sistemas completos. Sin embargo, las RNN aún están limitadas por el primer punto, la confianza en la diferenciabilidad o la suavidad. La IA simbólica no se trata solo de aprender a mapear la entrada a la salida, es más que eso.
Incluso cuando una gran cantidad de investigación no se centra en recuperar la IA simbólica, sigo creyendo que el razonamiento simbólico es vital para lograr la verdadera inteligencia artificial, es decir, la inteligencia artificial general (AGI).
La mejor forma en que las NN pueden manejar la IA simbólica es si:
- ¿Por qué Siri es tan poco inteligente?
- ¿Los hackers malignos utilizan el aprendizaje automático para actividades de piratería criminal?
- ¿Cómo impactará el aprendizaje automático en la economía?
- Suponiendo que se creó una IA súper inteligente, capaz de superar a toda la humanidad en cada arena, ¿cómo pasaría su tiempo?
- ¿Cómo se desarrolló la IA para AOE2?
- Utilizaron un algoritmo de aprendizaje heurístico que no está limitado por objetivos diferenciables. El aprendizaje automático (ML) actualmente depende en gran medida de la teoría de optimización (y recientemente de la teoría de juegos). Eso es bueno y malo:
- Es bueno porque la teoría de la optimización matemática es un tema maduro. Podemos tener pruebas como el teorema de aproximación universal si nos apegamos a formulaciones matemáticas sólidas.
- Sin embargo, es algo malo porque terminamos con algoritmos de aprendizaje supervisados principalmente y que solo pueden manejar, en el mejor de los casos, problemas que se emiten de manera diferente. Los verdaderos problemas de IA no son diferenciables. En la mayoría de los casos, los algoritmos de mejor rendimiento en IA tienen formulaciones matemáticas débiles *.
- Usaron la memoria para almacenar hechos o conceptos “duros”. Por ejemplo, un niño construirá un concepto discreto de los objetos que encuentra en el entorno. Difícil aquí significa que los hechos concretos no diferenciables pueden considerarse simbólicos. Por ejemplo, un automóvil, un caballo o un elefante pueden representarse simbólicamente. No se sabe cómo el cerebro humano descubre hechos tan duros y cómo los almacena en la memoria. Pero creo que interactuar con grandes depósitos de memoria más el uso de un algoritmo de aprendizaje heurístico que no depende de la diferenciabilidad puede ayudar a descubrir y almacenar esos hechos.
- Aprendieron algoritmos en lugar de funciones de mapeo. Hay una diferencia, por ejemplo, dados los ejemplos de multiplicación, el objetivo es aprender un algoritmo de multiplicación, este problema es diferente en el sentido de que el modelo ML necesita aprender el algoritmo de multiplicación y no solo un mapeo entre pares de entrada-salida. Aprender algoritmos o, más precisamente, aprender formas / métodos para resolver un problema es importante pero difícil para los algoritmos de ML actuales. El sistema que tiene que aprender un algoritmo de los datos de entrenamiento:
- Necesita memoria para almacenar el “programa”, algoritmo o método aprendido.
- Necesita incluir algún comportamiento exploratorio para buscar el mejor algoritmo (método). Esto significa alguna forma de enfoque de aprendizaje de refuerzo (RL).
* En su mayoría, AI y ML se basan en evidencia empírica u observaciones con motivos matemáticos débiles, la función de activación del rectificador, la deserción y muchos más enfoques donde solo se introdujeron en la comunidad de AI por un pensamiento principalmente intuitivo. Nadie sabe por qué y cómo funciona el aprendizaje profundo exactamente a nivel matemático. Solo los vemos trabajar y, wow, funcionó.
Mi opinión sobre esto es que el razonamiento simbólico es importante, especialmente en el procesamiento de alto nivel. El proceso de procesamiento temprano puede seguir el enfoque conexionista, mientras que el procesamiento abstracto de nivel superior debe ser más sobre el razonamiento simbólico.
Es decir, los dos campos, la IA simbólica y el enfoque conexionista son necesarios para resolver la IA en general.
Recordar:
Las NN y las RNN están actualmente limitadas cuando se trata de manejar el razonamiento basado en símbolos o la IA simbólica en general.
La razón principal de esa limitación se debe al hecho de que los algoritmos de ML actuales se basan en la teoría de optimización matemática, el uso de la regla delta / propagación hacia atrás para el aprendizaje necesita funciones objetivas diferenciables o superficies de error suaves para buscar los parámetros óptimos.
La IA simbólica no se puede resolver de esa manera.
La otra razón es que no hay mucho progreso en el aumento de NN con grandes depósitos de memoria. Además, no tenemos idea de si la memoria necesita almacenarse en bloques separados o si necesita distribuirse entre las neuronas mismas. Todavía no hemos descubierto cómo la memoria se puede aumentar adecuadamente a NN.
Todavía no sabemos cómo los modelos NN pueden modelar cosas simbólicas solo a partir de datos de entrenamiento y poder funcionar correctamente. A menos que también incluyamos algoritmos como árboles de búsqueda en la mezcla.
Creo que la mejor manera de tener una oportunidad de lograr un razonamiento simbólico con NN es si utilizamos:
- Redes neuronales recurrentes, se están completando, por lo que solo necesitamos encontrar mejores algoritmos de aprendizaje para que puedan manejar problemas simbólicos de IA.
- Un gran depósito de memoria,
- Un enfoque de aprendizaje heurístico derivado del aprendizaje por refuerzo para entrenar los modelos no diferenciables.
Pero también es importante tener en cuenta la necesidad de conocimiento previo cuando un problema es difícil de resolver solo con datos de capacitación. Los modelos deben poder transferir sus representaciones de un problema a otro si tenemos que hacer que el problema sea un poco más fácil de abordar.
Gracias por el A2A.
Espero que esto ayude.
