¿Existe un modelo más efectivo que Word2vec desde 2013?

Ha habido bastantes modelos ( todos sin supervisión como word2vec ) que mejoran y funcionan mejor que word2vec en ciertos aspectos.

• el más notable de ellos es quizás Adagram: enlace al papel, enlace fuente de Github.
• Otros dos modelos notables son Wang2vec y Fastttext, que se describen a continuación.

Adagram genera diferentes incrustaciones de palabras para una palabra que tiene diferentes significados en diferentes contextos ( polisemia)

La siguiente imagen muestra los dos sentidos para la palabra planta en el corpus usando Adagram

La siguiente imagen muestra los tres sentidos para la palabra luz en corpus usando Adagram. El índice de sentidos (1) relacionado con el electromagnetismo (2) vehículos con peso ligero (3) luz en sentido filosófico.

Para tareas donde la relación sintáctica es más importante que la semántica, el enlace Wang2vec al papel, el enlace fuente de Github puede ser una mejor opción que word2vec

La imagen a continuación es del documento de Wang2vec que muestra que el modelo funciona ligeramente mejor que word2vec al acercar las palabras sintácticamente relacionadas que las semánticamente relacionadas.

Enlace de papel de texto rápido, la fuente de Github funciona mejor que word2vec en el manejo de palabras de vocabulario y también cuando la entrada tiene palabras mal escritas ( por ejemplo, texto de twitter – las palabras están mal escritas conscientemente para efecto en muchos casos: dormir, dormir ). A pesar de que las palabras mal escritas pueden tener contextos similares, el número de palabras en el contexto puede ser demasiado pequeño, o incluso estar ausente, en un tweet (por ejemplo, ¡sleeeeeep! – solo un tweet de una palabra)

Aquí hay unos ejemplos. En este caso, las incrustaciones generadas en un corpus de tweets (y Wiki para más contexto de texto) se usan para generar una incrustación de oraciones ( todos los vectores de palabras en una oración simplemente se agregan para formar incrustaciones de oraciones ), que luego se usa para hacer un coseno comparación de distancia con otros tweets existentes para encontrar tweets similares. El primer ejemplo, aunque divertido, es ilustrativo: muestra que el texto rápido no solo conserva la relación semántica de word2vec sino que también acerca a Feynman a la física (a pesar del improperio mal escrito ): word2vec habría producido el mismo resultado si las palabras fuera del vocabulario se hubieran eliminado. pero no en el tercer ejemplo a continuación, una oración con una palabra mal escrita como sueño todavía lo acerca a las oraciones relacionadas con el sueño, que word2vec puede no ser capaz de hacer, particularmente si dormir no tiene vocabulario.

Otros ejemplos de texto rápido.

En el siguiente ejemplo, a pesar de que la entrada tiene el sueño mal escrito, trae otras oraciones relacionadas. En word2vec, si el corpus de entrada no tiene la palabra sleep mal escrita de la misma manera, sería una palabra sin vocabulario. En texto rápido, dormir y dormir están cerca en el espacio vectorial.

¿Qué quieres decir con un modelo efectivo?

Word2vec es el primer intento de establecer relaciones entre las relaciones de las palabras. Anteriormente hay SVD, LSI, LSA, etc. para hacer esto, pero todos tienen una funcionalidad limitada. En el mejor de los casos, puede usar esas cosas para permitir una buena búsqueda o clasificación.

Con word2vec, uno puede, no solo entender, cómo se relaciona una palabra entre sí, sino también si la relación entre dos palabras se basa en otras dos palabras. El famoso ejemplo de “si es hombre a mujer, ¿cuál es la palabra para rey?”

Hay otros intentos de hacer esto. Hay guante de Stanford. Experimenté con Contex2vec.

Pero todos estos modelos tienen la desventaja básica como cualquier otro modelo en aprendizaje profundo / red neuronal. Es una matemática simple ejecutada a gran escala y necesita muchos datos. Incluso con muchos datos, puede extraer solo un porcentaje limitado de relaciones, no todas. Las relaciones raras están fuera de discusión. Las palabras fuera del vocabulario solo están habilitadas, por ejemplo: texto rápido de Facebook.

Si quiere decir esto como un punto de referencia para la efectividad, entonces no hay un modelo efectivo desde word2vec.

Queremos que las computadoras le hagan a nuestro cerebro, lo que los motores le hicieron a nuestro músculo, el trabajo pesado.

Word2vec es el primer intento en esa dirección. Un modelo más efectivo puede extraer relaciones raras o leer un texto como humano y convertir las palabras en vectores.