¿Qué significa el término de procesamiento del lenguaje natural modelo del lenguaje?
¿Cuál es la distribución de probabilidad de estas oraciones específicas? En otras palabras, ¿cuál es la probabilidad de obtener un orden de palabras que se acumulan para formar esta oración?
Trataré de explicarlo de manera muy simple cómo podemos construir tales modelos.
- ¿Qué es la estimación de máxima verosimilitud?
- ¿Cuáles son los mejores usos de Deep Learning para la clasificación de relevancia de búsqueda?
- ¿Cómo son útiles las redes neuronales convolucionales para las empresas e industrias normales?
- ¿Por qué la biblioteca de estadísticas de Python es tan limitada en métodos bioestadísticos avanzados en comparación con R, mientras que la biblioteca de Python de Machine Learning es mucho mejor?
- ¿Qué es una red neuronal deconvolucional?
Encontrar la distribución verdadera es a menudo intratable, difícil de calcular, y tenemos que hacer algunas suposiciones sobre nuestras oraciones.
Ven con alguna suposición sobre tus datos
El modelo más simple sería decir que cada palabra [matemática] w [/ matemática] depende solo de la anterior [matemática] w_ {anterior} [/ matemática] en nuestra oración real. Por lo tanto, en su pregunta, solo depende de qué , el procesamiento depende solo del idioma …
También puede proponer que la primera palabra de una oración tenga una probabilidad basada en la frecuencia con la que aparece esta palabra al comienzo de las oraciones.
Ahora, ¿cómo aprendes estas probabilidades? Cómo puedes aprender que poner y al comienzo de una oración no es correcto, pero sí lo es .
Inferir la distribución de tus palabras
Las probabilidades de aprendizaje se llaman inferencia. Es el proceso de deducir las propiedades de una distribución subyacente mediante el análisis de datos. En nuestro caso, los datos podrían ser cualquier corpus de textos, todas las páginas de Wikipedia …
Usemos un texto pequeño en su lugar:
¿Qué significa el término de procesamiento del lenguaje natural?
Tu idioma es malo.
Qué quieres decir ?
Buscando las primeras palabras, descubriste que Lo que aparece dos veces al principio, Tu una y todas las demás palabras nunca. Por lo tanto, [matemática] P (What |.) = 0.66, P (Your |.) = 0.33, P (“todas las otras palabras” |.) = 0. [/ Math]
Entonces sus primeras palabras serán las más probables: “¿Qué …
Entonces, como recuerdan de la primera parte, dijimos que la probabilidad P de una palabra depende solo de la anterior. Significa que la siguiente palabra es [math] w \ in \ forall (w_1, w_2, …, w_n) [/ math] en nuestro texto de manera que [math] w = argmax_ {w} (P (w | palabra previa). [/mates]
En nuestro corpus, solo aparece, y do, después de What, con iguales probabilidades, por lo que elige uno al azar. Y luego repites el proceso … Si llegaste a la palabra significa, ¿ notas que las siguientes palabras más probables son la puntuación ?
Eso es todo. Tiene una distribución para cada palabra, y ahora puede decir que la distribución de su pregunta es
[matemáticas] P (qué |.) \ cdot P (hace | qué) \ cdot P (lo | hace) \ cdot (natural | el)… [/ matemáticas]
Y que
Por supuesto, este modelo es muy simplista. Pero te da una idea de lo que es un modelo de lenguaje natural. Primero, lo construyes sobre la suposición y luego lo aprendes a menudo deduciendo algunos datos.
Otra prioridad muy común es mirar alrededor de la palabra con un tamaño de ventana, en lugar de mirar solo la palabra anterior.
