Informática: ¿Cuál es la relación entre el modelo tópico y el modelo de inclusión de palabras, algún ejemplo?

Esencialmente, la idea de la inclusión de palabras es poder representar palabras para un uso adecuado como entrada para los procesos de análisis y otros procesos analíticos basados ​​en los idiomas.

Un modelo de tema es un modelo estadístico que se ha diseñado para ayudar a clasificar documentos / entradas en diferentes conjuntos en función de la probabilidad de que aparezcan palabras en ciertos tipos de documentos de diferentes dominios.

En conclusión, al usar un modelo de tema como base para la inclusión de palabras, podemos asignar más fácilmente las palabras a alguna representación computacional.

Un ejemplo podría ser que usamos un modelo de tema para descubrir que “bicicletas” y “autos” aparecen en diferentes documentos, por lo tanto, los llamamos temas diferentes. Al clasificar nuestras palabras, podríamos asignar algún número a la representación que elijamos, tal vez una dimensión en algún vector. Ahora hemos incrustado algunas palabras como vectores y podemos visualizar cuán relacionadas están esas palabras, por temas, al ver qué tan cerca están los vectores, si viajan o no en la misma dirección, si son paralelos o no.

Como puede ver, hay muchos casos de uso diferentes y que el modelo de tema y la inserción de palabras están fuertemente relacionados. Como nota final, debe tener en cuenta que la inclusión de palabras no solo se basa en el modelo del tema, sino también en una variedad de otras técnicas de aprendizaje de características.

Las incrustaciones de palabras son una clase de modelos que codifican el significado semántico o local de las palabras. Por ejemplo, las incrustaciones de palabras pueden decir que la siguiente palabra en la oración, “Mi perro se comió mi _” es un sustantivo y algo que poseo.

Los modelos de temas son una clase de modelos que codifican el significado temático o global de las palabras. En “Mi perro se comió mi _.”, Pueden describir el tema de toda la oración, por lo que completará una palabra basada en la escuela, el estudio o la tarea.

Estos conceptos son ortogonales y se pueden combinar. Recientemente ha habido intentos de hacer esto, por ejemplo, por Mikolov y sus colegas en el vector de párrafo, y por Ryan Kiros, Rus Salakhutdinov y otros en el vector de pensamiento omitido. Al combinarlos, el modelo puede decir que la siguiente palabra no es solo algo adecuado como un sustantivo u objeto directo (que es lo que haría la inclusión de palabras) sino que también la siguiente palabra es sobre la escuela, el estudio, la tarea (que es lo que el modelo del tema haría).