¿Cuál es el estado actual del procesamiento del lenguaje natural?

Uno de los problemas abiertos en el procesamiento del lenguaje natural es comprender una oración / párrafo / documento incluso cuando toda la información requerida para la comprensión no está presente en la oración / párrafo / documento.

Por lo general, completamos la información que falta usando nuestro “sentido común / conocimiento” en la mayoría de los casos ( o usando nuestros “modelos mundiales” en terminología de aprendizaje automático ).

Nuestros modelos actuales tienen modelos mundiales muy rudimentarios que limitan su capacidad de responder preguntas simples sobre la historia de un niño usando el “sentido común”.

Un artículo publicado este mes (abril) en ICLR 2017 ilustra el estado actual de los modelos de seguimiento del estado mundial con redes de entidades recurrentes

Uno de los objetivos finales es un modelo, con un modelo mundial suficientemente sofisticado para resolver una oración del Winograd Schema Challenge. Por ejemplo, para poder asociar el “eso” en las siguientes oraciones al objeto correcto ( trofeo en el primer caso y recuadro en el segundo ).

El trofeo no cabía en la caja porque era demasiado grande.

El trofeo no cabía en la caja porque era demasiado pequeño.

Una pregunta demasiado amplia para responder posiblemente. NLP es un campo ENORME, y SotA solo se define en problemas específicos dentro del espacio NLP.

El análisis de sentimientos es un buen ejemplo. Es un área de aprendizaje automático donde las técnicas de aprendizaje profundo son típicamente SotA, pero incluso entonces varía de un conjunto de datos a otro. para los IMDN RNNs (creo) actualmente tienen SotA, pero para tareas como el resumen, ni siquiera hay suficiente acuerdo sobre qué métricas usar para medir el éxito para tener un SotA definitivo, aunque DPP es bastante bueno.

Las redes neuronales recurrentes y las incrustaciones de palabras son dos de las herramientas más populares que se utilizan en la investigación de SotA hoy en día, pero sería muy engañoso decir que realmente son “lo último en procesamiento de lenguaje natural”.

El movimiento general del campo se ha alejado de la lingüística y hacia modelos con poco o ningún conocimiento preconstruido, pero la PNL es un campo masivo y hay muchos subproblemas en los que los modelos lingüísticos siguen reinando.

Depende de cuál sea la tarea, hay muchos modelos de última generación en PNL.

Yo diría que lo más común es alguna forma de red neuronal recurrente (RNN), generalmente con células LSTM o células GRU para aumentar las capacidades de “memoria”.

Para ser más específicos que eso, necesitaríamos analizar una tarea específica, algunos ejemplos son: traducción automática, modelado de idiomas, análisis de dependencias, etc.

Cada uno de estos tendrá una arquitectura específica que se desempeña mejor actualmente, de nuevo, generalmente, una gran red neuronal recurrente y las incorporaciones de palabras están en el corazón de estos modelos.

Necesita una excelente teoría de la lingüística y suficiente experiencia en programación. Cuantos más sistemas y programación de redes tenga, mejor podrá escalar su solución. Si toma compiladores y lenguajes de programación, esto acelerará su investigación con lenguaje natural en la computadora. La pieza final requiere un buen diseño e implementación de la base de datos. Estos trabajan juntos para una solución arquitectónica.