Los párrafos-vectores no parecen funcionar muy bien en general, o al menos no lo hacen cuando reinstalé el modelo del documento original y lo usé en diferentes datos (es bastante sencillo, dado que es un registro arquitectura neural de avance lineal que puede verificarse fácilmente en gradiente). Sin embargo, mantén los ojos bien abiertos, mi propia investigación está a punto de producir una idea que funcione mejor que tendrá aproximadamente la misma idea / objetivo =] (puedo actualizar esta publicación una vez que la haya hecho pública).
En general, los codificadores automáticos variacionales son muy buenos en lo que hacen, incluido el modelado de documentos. Lo bueno es que proporcionan un marco probabilístico agradable en el que uno puede especificar su anterior que sea adecuado para un determinado dominio / conjunto de datos objetivo. Además, para modelos menos probabilísticos, pero no menos poderosos, siempre existe la arquitectura Skip-Thought; -]
[Actualización: aunque aún no es la actualización que algunos podrían estar buscando, el año pasado hice mi trabajo conjunto con Iulian en nuestros modelos de codificador-decodificador variacional multimodal propuestos, y dado que obtuvimos buenos resultados en el modelado de documentos y resultados interesantes en el diálogo , Pensé que era relevante para esta publicación: [1612.00377] Codificador-decodificadores variacionales multimodales 🙂]
- ¿Cómo funciona la red de propuestas regionales (RPN) en Faster R-CNN?
- ¿Realizar el blanqueamiento de datos antes del entrenamiento mejora la capacidad de generalización de un SVM?
- ¿Cómo es tomar 9.520 (teoría de aprendizaje estadístico) en el MIT?
- ¿Cómo entrenar codificadores automáticos dispersos en imágenes?
- ¿El recocido simulado y la optimización de colonias de hormigas cuentan como aprendizaje automático?
