¿Qué algoritmos se pueden usar para determinar si dos preguntas (como las de Quora) son de alguna manera similares?

Con el modelo de espacio vectorial (y medidas de similitud como coseno u okapi) o medidas de distancia (como Jaccard), el problema es que dos preguntas pueden ser similares por términos, pero muy diferentes por significado. Por ejemplo: “Cuánto dura el gran arrecife” tendrá una similitud exacta con “Qué tan grande es el largo arrecife”.

Puede ser, con algunas preguntas como las de Quora, debería ser bueno introducir en el algoritmo una evaluación de las relaciones entre palabras (lógica de predicado) dentro de la oración, para evitar tales interpretaciones erróneas de similitud debido a preocupaciones léxicas. Por ejemplo, con una DRT (teoría de la representación del discurso) como representación.

Puede echar un vistazo a los clasificadores creados para la tarea compartida CoNLL 2008 y 2009 (“roles sintácticos” y “dependencias semánticas”) para encontrar documentos y clasificadores creados para generar tales anotaciones semánticas.

Es posible que desee una expansión del núcleo. Aquí hay una idea llamada núcleo de Wikipedia. proyectar toda la Wikipedia en un espacio de Hilbert (por ejemplo, dimensión 10 ^ 8)
Luego cree un índice invertido usando Lucene, o simplemente use el cuadro de búsqueda de Wikipedia. O usa Google. Para cada pregunta, recopile los mejores resultados de N. Calcule la similitud de coseno en las URL resultantes.