Déjame guiarte a través de un ejemplo.
Es posible que haya encontrado el documento de clasificación de texto: FastText. Para NLPers y DLers, es una extensión directa de Word2Vec para la configuración de clasificación. ¡Nada sofisticado!
Estaba interesado en replicar sus resultados en Torch (Lua). De esta manera , estoy seguro de que el modelo funciona según las afirmaciones del autor y también soy consciente de los desafíos técnicos en su implementación.
- ¿Cuál es la controversia sobre la IA?
- ¿Cómo es el crecimiento de la robótica industrial?
- ¿Es posible construir un robot que desvíe los proyectiles entrantes con un palo?
- Cómo explicar los peligros de la inteligencia artificial a mis amigos no técnicos
- ¿Cuál es la clave que el aprendizaje profundo contribuyó al aprendizaje de refuerzo (RL) que antes no era posible sin redes neuronales (ANN)?
No estaba listo para examinar su código C ++. Por lo tanto, hice mis propias suposiciones siempre que fue apropiado y pensé que sería pan comido. Probablemente estaba demasiado confiado.
Mis resultados estuvieron lejos de su resultado por puntos significativos. Después de rascarme la cabeza por algún tiempo, de mala gana me lancé a su base de código.
Hubo 2 diferencias principales:
- No hay sesgo en la capa lineal en la salida.
- La tasa de aprendizaje disminuye linealmente a partir de 1 y termina en 0 (cuando finaliza el entrenamiento).
Manejar los 2 cambios fue suficiente para alcanzar su resultado. Más tarde, aprendí que estos dos casos se aplican a otros modelos menos profundos como Word2Vec y Doc2Vec.
Nunca habría conocido estas complejidades de FastText si hubiera dado por sentado su implementación.
Lección aprendida.
PD: es aún más difícil codificar documentos cuya implementación no está disponible. Debido a limitaciones de espacio, muchos de los documentos recientes no brindan suficientes detalles para reproducir su configuración con precisión. Incluso si son generosos para proporcionar detalles en la versión complementaria, tuve dificultades para obtener acceso a esto desde laboratorios eminentes.
