¿Qué tan común es que la IA basada en PNL ‘pierda el punto principal’?

Eso depende mucho de qué tipo de IA estamos hablando. Una gran cantidad de PNL en estos días es estadística y obtiene resultados justos, sin considerar el significado de las palabras.

IBM Watson puede dar respuestas muy precisas a las preguntas, por lo que podría decir que “entiende el punto”. Desafortunadamente, esto solo es cierto cuando tiene una cantidad excesiva de material de recursos para trabajar, de lo contrario sus respuestas a menudo no están relacionadas con la pregunta, aparte de compartir una o dos palabras.

Resumen AI, al menos los que he probado, tienden a perder el punto principal de un artículo aproximadamente el 40% del tiempo. Esto se debe a que están diseñados para promediar la mayor parte del texto en lugar de mirar el significado y la intención. Lo hacen bien cuando el punto principal está entretejido abundantemente en el texto, pero no pueden analizar el punto de una sola oración y pasarán por alto fácilmente la conclusión.

La IA tradicional de la PNL pierde mucho el punto, dependiendo del tipo de texto que le des. Cualquier cosa con la gramática adecuada se pondrá bien, pero si se agrega taquigrafía, lenguaje figurado y ambigüedad, se pondrá bastante mal. Una característica que casi toda la IA de la PNL aún comparte es que toman todo literalmente, sin un subsistema de “sentido común” para distinguir el discurso figurativo. Eso y la ambigüedad resultan en malentendidos la mayoría de las veces, en mi experiencia con la programación de PNL AI.

El núcleo del asunto es: la comprensión del lenguaje tiene que ver tanto con el conocimiento, el razonamiento y el contexto como con las palabras. La mayoría de las IA de la PNL solo se preocupan por las palabras que pueden leer, lo que significa que ignoran la mitad de nuestro método de comunicación.

Esta es una excelente pregunta y fue, indirectamente, uno de los temas de discusión con Tomas Mikolov cuando dio una conferencia sobre redes neuronales e inteligencia artificial en el hackathon de preguntas y respuestas de DeepHack en febrero.

Es bastante común debido a la incapacidad de los sistemas de inteligencia artificial de capturar “el punto principal” en primer lugar. Cuando hablamos de aprendizaje automático, el problema con los modelos de PNL es que dependen de la distribución [condicional] de las palabras. Tiene sentido matemático, porque en este caso tenemos un objetivo claro de optimización, pero no tiene nada que ver con el significado del texto, ya que los humanos se comunican con extrema dependencia del contexto.

Por el momento, no hay modelos destinados a capturar el contexto en sentido amplio, principalmente porque no está claro cómo podemos lograrlo.

En el hackathon, le pregunté a Tomas sobre arquitecturas neuronales para tareas de PNL y experimentos relacionados. Básicamente, el mejor modelo para el día, word2vec, fue uno de los algoritmos más simples y funcionó mejor que cualquier otra cosa que intentaron, lo que, supongo, significa que el núcleo de la solución real no está en “mejores datos” o “más grandes”. datos “y no en la cantidad de capas, sino en un enfoque completamente nuevo del concepto de problema de aprendizaje.

Aquí hay un documento muy interesante sobre los posibles avances, la mayoría de las ideas provienen de la investigación de la PNL: [1511.08130] Una hoja de ruta hacia la inteligencia artificial

La comprensión precisa de la IA de la PNL depende totalmente de los datos que se envían a la IA, el contenido en sí mismo que se está analizando.

Si se le da contenido lo suficientemente ofuscado, claro, la IA lo malinterpretará, a menos que se haya programado específicamente para desentrañar el estilo específico de ofuscación en contexto.

Ejemplo de entrada clara, que llevará a que la IA entienda el “punto principal”:

Nuestro campeón de ajedrez, John, ganó una vez más hoy, contra Andy.

Ejemplo de entrada ofuscada, que podría llevar a la IA a diagnosticar mal las cosas:

Nuestro actual campeón de ajedrez, John, mató a Andy hoy.

Dada esta segunda entrada, la IA definitivamente podría perder el punto principal y llegar a algunas conclusiones desconcertantes sobre las cosas.

Google DeepMind aplica la IA a la atención médica con la asociación NHS … las cosas ciertamente han progresado con la IA desde los primeros días de la PNL, ¿no?

Lamentablemente es muy común, la IA no tiene “sentido común” y la lingüística es un sistema estadístico, por lo que “perder el punto” es muy común, pero las respuestas medias son buenas, a menos que las afirmaciones o respuestas incorrectas sean muy incómodas.

Muy común. Las oraciones reales son complejas. “Jane corrió a la tienda” es una oración simple, pero muchas oraciones reales son complejas, con modismos, subcláusulas complejas, lo que significa que depende del contexto y el conocimiento del mundo, etc.
Si bien tenemos técnicas para lidiar con todo eso, nada de eso es perfecto, y un error en cualquiera de ellos puede hacer que el resultado sea total.

More Interesting

¿Cuáles son algunas herramientas de software comunes utilizadas por los desarrolladores de Inteligencia Artificial?

¿Cómo reaccionarían los conservadores si alguna vez ocurre la singularidad y la inteligencia artificial comienza a exigir su propio lugar en la sociedad?

¿Es probable que los desarrolladores entrenen inteligencia artificial para comercializar mercados?

¿Cómo podemos medir la fuerza de nuestra propia inteligencia contra la IA? ¿Cómo podemos decir que uno es más fuerte que el otro?

¿Cuáles son las principales habilidades en la industria de la inteligencia artificial y cómo las adquiere?

¿Dónde es más probable que veamos que la inteligencia artificial reemplaza la toma de decisiones humanas en la próxima década?

Si eres la primera IA autoconsciente, ¿cómo informas?

¿Debemos temer a la inteligencia artificial? ¿Por qué o por qué no?

¿Qué se puede hacer para evitar un escenario similar a Terminator, si alguna vez fue posible?

Artes Gráficas: ¿Cómo puedo evocar visualmente la Inteligencia Artificial en el diseño de una mascota?

¿Podría una IA (inteligencia artificial) posiblemente predecir o hacerse cargo de un mercado de valores?

¿No sería mucho más justo, pero también más rápido y más barato que la Inteligencia Artificial decidiera casos legales en lugar de jueces y jurados?

¿Existe un código en inteligencia artificial que pueda hacerme reír en la vida?

¿Podría la IA realmente tener la capacidad de dañar? (leer detalles)

¿Por qué el progreso de la IA va primero en el análisis de imágenes?