¿Cuáles son los pasos básicos del procesamiento de texto en el procesamiento del lenguaje natural para la similitud de texto?

Más allá de las expresiones regulares, aquí hay algunas características importantes:

• Generadores, consulte Trucos de generador para programadores de sistemas de David Beazley para obtener muchos ejemplos excelentes para canalizar cantidades ilimitadas de texto a través de generadores.

Para herramientas, recomiendo mirar lo siguiente:

• Whoosh, un motor de búsqueda de Python puro que le dará algunos ejemplos agradables de la vida real de análisis de texto utilizando pyparsing y procesamiento de texto en Python en general.
• Las buenas reseñas de Ned Batcheldor de varias herramientas de análisis de Python.
• mxTextTools
• Código fuente de Docutils para un procesamiento de texto más avanzado en Python, incluida una máquina de estado sofisticada.

re: orden de tokenización de oración versus palabra: depende del objetivo. Por simple similitud, un enfoque de “bolsa de palabras” puede ser suficiente. En ese caso, las oraciones no importan. Las medidas de similitud más complejas basadas en conceptos y en el significado del contenido pueden requerir el análisis de la estructura de los documentos y el análisis de las oraciones. Por ejemplo, ponderar el primer y último N párrafos de manera diferente que otro contenido. Estos métodos requieren información sobre el orden de las oraciones, los párrafos y otros tipos de contenido del documento, por lo que se debe realizar la tokenización o etiquetado de las oraciones / párrafos, pero el orden es más difícil ya que, según las reglas de tokenización, es posible que pueda hacer tokenización de palabras y oraciones en un pase único Si las reglas son simples (por ejemplo, las oraciones se rompen en un pequeño conjunto predefinido de caracteres y al final del texto), una sola pasada produce fácilmente estructuras de palabras, oraciones y párrafos. Una forma de hacerlo sin cargar todo el documento utiliza un enfoque de máquina de estado para un conjunto de reglas de palabras y oraciones; Esto también permite el manejo de citas, escapes de caracteres y una variedad de otros casos especiales. Este enfoque funcionará para muchos propósitos que no requieren un análisis semántico de contenido complejo. Es perfecto, pero a menudo es lo suficientemente bueno para el contenido común en inglés.

Para tareas de similitud de oraciones … Otro enfoque diferente:

1. Cree un modelo Doc2vec o word2vec.
2. Obtenga un vector de oración de oración (Si word2vec, haga el promedio de las palabras para obtener el vector de oración)
3. Encuentra la similitud de coseno entre vectores.
4. Clasifíquelos de mayor a menor. Uno con la mayor similitud de coseno será más similar con la oración fuente, y así sucesivamente.

Obtendrá todo aquí: RaRe-Technologies / gensim

La similitud de texto no es una tarea bien definida, puede referirse a la similitud de corpus, oraciones o incluso métricas entre corpus para similitud. Dicho esto, hay una idea básica que ha enumerado allí, y nada cambia mucho en cuerpos de texto más grandes, aunque puede hacer cosas como usar incrustaciones de palabras y etiquetado POS / análisis de dependencia (básicamente si es Stanford CoreNLP, debería considerarlo jajaja) y en situaciones específicas de dominio, es posible que tenga la capacidad de hacer una ingeniería de características más avanzada.