¿Cuáles son los algoritmos utilizados en los sistemas de preguntas y respuestas en PNL?

Bueno, he estado estudiando esto durante los últimos dos meses … En primer lugar, sepa qué tipo de respuesta a la pregunta desea construir:

  • QA de dominio abierto
  • QA de dominio restringido

Entonces es importante conocer los pasos generales para PNL:

  • Procesamiento morfológico
  • Análisis sintáctico
  • Análisis semántico
  • Análisis pragmático (en mi opinión, esto depende del tipo de control de calidad)

Tienes que hacer que una computadora “entienda” las preguntas naturales. Por lo tanto, el procesamiento morfológico es el primer paso. Aquí ocurre la tokenización. La secuencia de palabras se corta en fichas. Seguido de la derivación o la lematización. Leí en alguna parte que la lematización es más precisa. La salida del procesamiento morfológico se da al análisis sintáctico. También se llama fragmentación, análisis superficial. Aquí, la estructura de la oración se elabora en función de (el objetivo es) la gramática correcta. Esto da como resultado un árbol de análisis (a menudo), que es una estructura de datos. Ejemplos son algoritmos CYK, Earley, algoritmos de análisis de dependencia y análisis de componentes.

Entonces, viene la parte difícil … análisis semántico. Una tarea es la clasificación de preguntas, asignar significado a las preguntas, clasificar a los candidatos anseer. Aquí necesitas un estudio exhaustivo:

  • Algoritmos de clasificación basados ​​en reglas
  • Algoritmos basados ​​en aprendizaje automático …

Bueno, de ahora en adelante, depende de usted, para cuando lea estas cosas, habrá adquirido suficientes conocimientos para construir un control de calidad 🙂