Eche un vistazo al enfoque para recopilar diálogos para chatbot orientado a objetivos propuesto en “El coro de negociaciones de los diálogos de negociación de agentes humanos” . [1]
Dominio
El objetivo era recopilar diálogos para el dominio de negociación. La negociación se lleva a cabo entre un empleador y un candidato. El objetivo de ambas partes es llegar a un consenso sobre las condiciones de contratación, al tiempo que se optimiza su propio objetivo de puntuación.
- Inteligencia humana: ¿qué tan bueno es Lee Sodel en Go? ¿Será posible construir una IA que lo deje completamente atónito en el juego?
- ¿Cómo será la progresión natural del aprendizaje automático? ¿Qué industrias tendrá más aplicaciones?
- Cómo construir IA para resolver este juego
- ¿Cuáles son algunas de las características que le gustaría ver en los asistentes personales de IA?
- ¿Cuál sería un caso de uso simple para el nuevo Microsoft Graph Engine, y paso a paso para hacerlo?
Amazon Mechanical Turk
Para recopilar los diálogos, se reclutaron 105 angloparlantes en Amazon Mechanical Turk (AMT) para participar en las negociaciones. AMT permite incluir un enlace a un recurso externo (la plataforma de negociación). Antes de comenzar una negociación, los participantes toman un tutorial que describe la interfaz del juego y los objetivos. El premio del turker depende de la puntuación obtenida durante la negociación.
Anotación
Los diálogos fueron anotados por dos anotadores independientes con un árbitro. Como métrica del acuerdo entre anotadores, utilizaron el α de Krippendorff con una distancia MASI que admite la anotación de etiquetas múltiples.
Los detalles adicionales se pueden encontrar en el documento.
Notas al pie
[1] http://www.lrec-conf.org/proceed…
