¿Qué herramientas y tecnologías de Bigdata, aprendizaje automático y PNL utiliza Quora?

Utiliza una combinación de aprendizaje automático y procesamiento del lenguaje natural para garantizar contenido de alta calidad en el sitio.

  • Algoritmo de clasificación (aprendizaje automático) para agrupar preguntas en categorías.
  • Algoritmo de análisis para la corrección gramatical.
  • Análisis de clúster y algoritmo de cálculo de similitud SMD para encontrar preguntas duplicadas.
  • Algoritmo similar a AGV que proporciona la relevancia de las preguntas devueltas como resultados de búsqueda instantánea y la relevancia de los temas sugeridos para las preguntas que se hacen. Encuentra un tipo de homogeneidad en un conjunto de datos y los divide en un número finito de grupos. También utiliza un algoritmo similar para las clasificaciones.
  • Modelado de temas utilizando la asignación de Dirichlet latente, cuando hace una pregunta, automáticamente le asigna algunos temas.
  • También usa Thrift.
  • Aparte de eso, cose se basa principalmente en Python (lenguaje de programación), Tornado (marco web), PyPy.