Estrictamente hablando, un CFG normal no puede analizar oraciones en lenguaje natural (que solo puede funcionar en lenguajes formales como lenguajes de programación), trabajará con un PCFG (CFG probabilístico) que intenta adivinar cuál es el análisis más probable para la frase.
Ahora, ¿por qué es importante el análisis?
El lenguaje es solo una forma de expresar los hechos que se han expuesto.
Qué es lo que diferencia, una versión de una oración (es decir, simplemente baraja las palabras en una oración) de la oración original en sí misma, el hecho de que la oración original tiene una estructura que establece las relaciones entre diferentes entidades y propiedades. Esta estructura se captura en el árbol de análisis de la oración.
- ¿Cuáles son las diferencias entre los algoritmos CHAID y CART para el crecimiento de los árboles de decisión?
- ¿Cuál es la diferencia entre un sistema recomendado basado en la utilidad del sistema y un sistema recomendado basado en el contenido del sistema?
- ¿Es posible crear un 'ser' inteligente (AI) no una 'máquina'?
- ¿Pueden las redes neuronales profundas resolver problemas NP-Hard?
- ¿Cómo estimar la divergencia KL si no se conoce el posterior? En inferencia variacional, KL se utiliza para encontrar una distribución que se aproxime al verdadero posterior, pero el KL requiere conocer el posterior mismo. ¿Cómo se trata esto?
1) Los árboles Parse ayudan en el reconocimiento de entidades con nombre, extracción de relaciones
Extracción de trozos con NLTK
2) Traducción
De cada oración, extraemos una especie de gráfico de conocimiento que es algo agnóstico al lenguaje. Esto se construye inspeccionando el árbol de análisis y determinando las conexiones / relaciones entre los diversos nodos en el gráfico.
Se construye una representación UNL Interlingua para la oración. Puede obtener una idea de las estructuras de árbol / gráfico de conocimiento desde aquí:
Introducción a la UNL
http://cerc.wvu.edu/download/WOR…
Luego, selecciona la representación UNL y la traduce al idioma de destino.
Entonces, si tiene 20 idiomas, no necesita 20 × 19 = 380 traductores; solo necesita 20 * 2 = 40 traductores para poder manejar las conversiones. (20 idiomas a UNL) y (UNL a 20 idiomas).
Eche un vistazo a la salida del Stanford NLP Parser. Podría darle algunas ideas sobre cómo es útil analizar la salida:
El grupo Stanford NLP (procesamiento del lenguaje natural)