Creo que una ventaja principal de usar métodos de incrustación sobre SVD es que los métodos de incrustación son específicos de la tarea, mientras que aprender características latentes usando SVD es independiente de la tarea.
Es decir, con el aprendizaje profundo, primero define la tarea, diseña una red neuronal, en la que las capas de incrustación forman las capas de entrada. Entonces se aprenden junto con otras capas para esta tarea específica.
Con SVD, aprende las incrustaciones a priori y las usa para todas las tareas que tenga en el futuro.
- ¿Facebook utiliza el aprendizaje automático?
- En términos simples, ¿cómo funciona Gibbs Sampling?
- ¿Qué es la divergencia contrastante?
- Cómo modelar la siguiente situación probabilística
- Cómo comenzar a programar una IA básica de autoaprendizaje
El aprendizaje de vectores específicos de la tarea probablemente dará una mejor precisión, porque las características que discriminan entre entidades pero que no ayudan en la tarea no se aprenden, por lo que el “ruido” en las representaciones se reduce implícitamente. La desventaja es que necesita aprender nuevas incorporaciones para cada tarea. A menudo, puede estar bien usar una representación independiente de la tarea, y aprender características específicas de la tarea para un pequeño aumento en la precisión puede ser innecesario.
