¿Cómo se logra la detección de afirmaciones en el procesamiento del lenguaje natural?

Lo que intenta hacer generalmente se llama extracción de información abierta (OIE).

La OIE es la tarea de extraer declaraciones o proposiciones del texto en lenguaje natural, generalmente en forma de triples, más fáciles de manejar por computadoras. Por ejemplo, en la oración “Albert Einstein nació en Ulm”, un sistema de la OIE podría extraer (“Albert Einstein”, “nació en”, “Ulm”). Un triple consiste en una relación (“nació en”), un sujeto (“Albert Einstein”) y un objeto o argumento (“Ulm”).

Es importante comprender que los componentes del triple no están desambigados (es decir, no están vinculados a una base de conocimiento). Es, en el ejemplo anterior, no habría indicación de a qué se refieren “Albert Einstein” o “nacido en”. Además, en principio, no existe un sentido de realidad (aunque algunos sistemas como OLLIE trabajaron en esa dirección). Por ejemplo, en una oración como, “Si Mary estudia mucho, aprobará el examen”, un sistema de la OIE extraerá (“Mary”, “estudia”, “difícil”) y (“ella”, “aprobará”, “el examen”). En principio, la OIE solo extrae y estructura proposiciones que no deben considerarse hechos verdaderos sin un procesamiento posterior adecuado.

Se puede pensar en la OIE como el primer paso hacia una amplia gama de aplicaciones de comprensión del lenguaje natural, que necesitan identificar y estructurar proposiciones en una primera fase (por ejemplo, la construcción de la base de conocimiento a partir de texto como NELL). Las extracciones de la OIE también se pueden utilizar para aplicaciones de usuario, como la búsqueda estructurada.

Hay varios sistemas OIE que puede usar de forma inmediata, como Reverb, OLLIE, ClausIE (en el que trabajé) o Open IE 4.0.

Se podría agregar información semántica al sujeto u objeto mediante la vinculación de entidades (aquí una descripción general que escribí), o la relación a través de la extracción de relaciones, una tarea más difícil que todavía es un tema muy candente en la comunidad de investigación de la PNL.

Este es un conjunto complejo de temas. En general, agruparía esto bajo análisis y extracción de información. Estos son campos muy amplios. Las soluciones comunes son coincidencias simples de expresiones de plantilla y requieren una sintaxis restringida. Las soluciones más generales son temas de investigación y esfuerzo significativos.

Aquí está la búsqueda general de Google para comenzar:

extracción de afirmaciones inglés – Búsqueda de Google

(esto no es muy selectivo; también recoge afirmaciones del lenguaje de programación; agregar “-java”, “-C #”, etc. u otro ajuste fino definitivamente ayudaría)

Uno de los resultados es un buen resumen de los problemas y soluciones básicas:

http://reverb.cs.washington.edu/

Hay muchas bibliotecas, marcos y soluciones que proporcionan puntos de partida para herramientas para manejar la extracción de estas estructuras. También puede buscar en GATE, una herramienta de flujo de trabajo de procesamiento de texto. Está un poco anticuado, pero aún se puede usar para muchas tareas y tiene una excelente documentación tanto para la herramienta como para sus enfoques internos. Es extensible y relativamente fácil de crear un flujo de procesamiento personalizado. El sitio de inicio es:

GATE.ac.uk – index.html

¡Buena suerte!

More Interesting

Cómo comenzar mi investigación sobre el aprendizaje por refuerzo si no soy bueno en Python

¿Qué tan bueno es Irlanda para la visión por computadora?

¿Podemos tener un error cuadrado medio de datos de entrenamiento para una red neuronal?

¿Cuál es mejor para la manipulación de datos en python: Pandas o SFrame?

¿Cuál es la diferencia entre el paralelismo del modelo y el paralelismo de datos?

¿Cuáles son algunas habilidades matemáticas altamente relevantes que se requieren si quiero comenzar a investigar en algoritmos de Machine Learning?

¿Qué técnicas de aumento de datos están disponibles para el aprendizaje profundo en texto?

¿Cuál es el mejor modelo de predicción de la siguiente palabra en R?

¿Cuáles son los inconvenientes de usar RL con funciones de aproximación en altas dimensiones? ¿Cómo aprender la función de recompensa 0-1 (regresión logística)?

Debido a que este será el tema de un panel en el Instituto de Verano NBER, ¿qué puede aprender la economía de Data Science y / o Machine Learning, y qué puntos sobre este tema le gustaría ver incluidos?

¿Cuál es la mejor manera de implementar mi algoritmo de reducción de dimensiones?

¿Cuál es una explicación intuitiva para el problema de optimización cuadrática?

¿Qué enfoque se recomienda para aprender Machine Learning?

¿Qué es exactamente el sobreajuste? ¿Por que sucede? ¿Cómo afecta a mi modelo?

¿Cuál es la diferencia entre el aprendizaje inductivo y transductivo?