No hay una forma directa de verificar las respuestas de texto largo. Las mejores ideas de vanguardia que puede aplicar es crear un gráfico de conocimiento a partir de la respuesta y compararlo con el gráfico de conocimiento de su punto de referencia.
Otra idea muy utilizada para comparar textos largos es el kit de herramientas ROGUE , que se utiliza para evaluar sistemas de generación de resumen con estándares de oro escritos por humanos. Los detalles se presentan en este documento: Página en aclweb.org (Chin-Yew Lin, ROUGE: A Package for Automatic Evaluation of Summaries). Combinan ideas como el recuerdo de n-gramas, la subsecuencia común más larga, omiten bigrams, etc. en un sistema de puntuación estandarizado. Los experimentos sobre la comparación de textos escritos por humanos por múltiples autores han proporcionado puntajes superiores a 0,95 en la mayoría de las medidas. Sin embargo, deberá configurar este umbral de similitud de acuerdo con su uso.
- Cómo conectarme con otras personas para trabajar en IA, ML y PNL para ampliar aún más mis habilidades
- ¿Es realmente posible usar clasificadores de aprendizaje automático listos para usar como SVM o Random Forest para predecir con precisión la dirección del stock?
- Cómo escribir una novela con una IA fuerte
- ¿Perderán los programadores sus trabajos debido a la inteligencia artificial como DeepCoder?
- Con toda esta charla sobre IA y aprendizaje profundo, ¿los bots sufrirán el síndrome HAL 9000?