¿Qué tipo de preguntas responde mal Watson?

Tenemos un ejemplo clásico (y muy publicitado) el primer día de la competencia Jeopardy. La pregunta sobre el peligro final en la noche n. ° 1 fue algo así como “Aeropuertos de EE. UU., El segundo aeropuerto más grande de esta ciudad lleva el nombre de un campo de batalla de la Segunda Guerra Mundial”, la respuesta correcta prevista era ‘Chicago’ (porque el aeropuerto n. ° 2 de Chicago es Midway Intl.).

El motor Watson realizó su típico ejercicio de recopilación de datos, pero, debido a la sintaxis de consulta mal construida, o simplemente a “demasiada falta de claridad” (no hay suficiente certeza del 80% / 95% / 99% de la respuesta), la IA finalmente encontró una ciudad que parecía (vagamente) cumplir con los criterios.

Watson fue programado para marcar una respuesta muy insegura con signos de interrogación: un “?” significaba ‘Estoy casi seguro, pero aún borroso’, dos “??” significaba “no tengo mucha confianza en esta respuesta”, etcétera. Después del tiempo requerido para que los concursantes piensen y escriban sus respuestas, Watson ofreció:

“TORONTO ?????”

(Para mucha risa, diversión y frustración del programador de IBM)

Resulta que el sistema había reunido sus criterios de respuesta ‘correctamente’: la ciudad canadiense de Toronto * tiene * un aeropuerto llamado Waterloo (en Bélgica), que fue el sitio de una batalla de la Segunda Guerra Mundial, y, aunque no está vinculado al información anterior, * hay * ciudades llamadas Toronto en los Estados Unidos (Illinois, Indiana, Iowa, Kansas, Missouri, Ohio, Dakota del Sur) – por lo tanto, aunque Watson no tenía mucha confianza, tenía suficiente (suelto) información para sugerir ‘Toronto’ como respuesta: no fue capaz de conciliar completamente “Toronto, la ciudad canadiense con un aeropuerto de Waterloo” contra “Toronto, la ciudad de los EE. UU. con aeropuertos pequeños o sin aeropuertos”.

¿Eso te da un buen sentido? Hay sutiles referencias contextuales humanas que Watson a veces tiene dificultades para analizar: el tipo de cosas como “una casa tiene cuatro paredes, un techo y una puerta, pero a veces (si es una carpa o un cobertizo) solo tiene dos o tres paredes “. Dicho esto, Watson * fue capaz de descubrir con éxito que el comandante israelí Moshe Dayan usaba un parche en el ojo (en el mismo juego de Jeopardy), por lo que, a veces, se da cuenta de eso.