¿Cuál es el significado de ‘distribucionalmente similar’ en PNL?

La similitud distributiva es un enfoque que utiliza estadísticas relativas a los contextos de aparición de palabras y determina la similitud entre dos palabras dada esta información. Una palabra está representada por un vector de valores, generalmente valores de frecuencia, de un corpus y cada dimensión del vector representa un contexto particular. La similitud distributiva utiliza estos vectores y calcula una puntuación de similitud diseñada para medir la similitud entre los vectores. Para medir la similitud semántica usualmente se usa la distancia coseno. [1]

Al utilizar la similitud distributiva, puede encontrar dos tipos de relaciones:

  1. Sinónimos Dos palabras tienen aproximadamente el mismo significado.
  2. Similitud semántica. Dos palabras están de alguna manera relacionadas.

La similitud de distribución se puede utilizar en muchas tareas relacionadas con la PNL, incluida la detección de paráfrasis, recuperación de información, traducción automática.

La siguiente imagen muestra el perfil de distribución de inicio con el más cercano palabras y lo mismo para fusión.

Aquí vemos que el inicio es semánticamente similar al espacio, la luz, el calor, el hidrógeno, mientras que el calor y el hidrógeno están más cerca de la fusión. El inicio ocurre con frecuencia en el contexto de películas y famosos (como ‘ película famosa de start wars ‘), por lo tanto, películas y famosos están en la lista.

Notas al pie

[1] Página en dialog-21.ru

[2] Página en georgetown.edu

¿Cuál es el significado de ‘distribucionalmente similar’ en la programación neurolingüística?

No conozco (no he encontrado) ese término utilizado en PNL.

More Interesting

¿Cómo debo elegir una función de activación adecuada para la red neuronal?

Hay muchas distribuciones de probabilidad presentes en las estadísticas, ¿cómo debería uno usarlas? En general, veo personas que usan distribución gaussiana en algoritmos de aprendizaje automático.

¿Cuál es la diferencia entre la recuperación de información normal y los sistemas de recomendación?

¿Cuál es la mejor GPU que se utilizará para Deep Learning con presupuesto (> 400 $)?

¿Cómo se construye una máquina del tiempo?

Cómo evaluar la reciente eliminación de recomendaciones para usar hilo dental

¿Cómo se pueden entender intuitivamente las dimensiones de las entradas LSTM?

¿Cómo aprende IBM Watson de los libros y documentos médicos?

¿Qué es AdaBoost?

¿Qué tipo de proyectos de aprendizaje automático puedo hacer? ¿Qué libros me recomiendan aprender? Estoy interesado en usar Python.

¿Cómo utiliza Google el aprendizaje automático?

¿Cuál es la diferencia entre derivada de una función o pendiente de gradiente?

Como proyecto de graduación, elegimos hacerlo en el análisis de sentimientos de Twitter, tenemos algunos conceptos básicos de ML obtenidos de los MOOC, ¿a dónde deberíamos ir después?

¿Qué ha causado la gran mejora en los algoritmos de reconocimiento de voz en los últimos años: mejores algoritmos (si es así, ¿cuál?) O la mayor potencia informática?

¿Cuál debería ser el plan adecuado para aprender el aprendizaje automático desde cero para un estudiante del tercer semestre?