¿Google Neural Machine Translation tendrá una precisión del 95% de un nivel humano para finales de 2017?

Por su propia métrica, ya lo han hecho en 2016. Todo está en cómo se lee el gráfico.

Fuente: Una red neuronal para la traducción automática, a escala de producción

Por ejemplo, los sistemas PBMT y GNMT estaban dentro del 90% del nivel humano en el par francés-> inglés. El sistema GNMT está claramente dentro del 95% del nivel humano en el par francés-> inglés.

Los números citados en los detalles de la pregunta (55–85% de reducción en los errores) se informaron midiendo la distancia entre PBMT y los niveles humanos e informando qué proporción de esa brecha se cerró con la actualización a GNMT.

Advertencias: Técnicamente, sin embargo, estas son calificaciones promediadas por evaluadores humanos (“ciegos” a la fuente de la traducción) en una escala de 0 a 6, que no descubre si la tasa de precisión es superior o inferior al 95% de los humanos precisión, sobre todo porque se trata de una “calidad” y no de la tasa de error. Además, las oraciones en consideración pueden ser artificialmente simples.

En general, el GNMT superó a sus modelos estadísticos anteriores. Pero dado que, todavía hay ciertos casos difíciles, que GNMT no maneja bien. Más recientemente, realicé una investigación rápida sobre uno de estos casos extremos con el par mongol-> inglés. Estos son solo algunos ejemplos:

ааа -> Bueno
аааа -> ahaha
ааааа -> sya
ааааа -> Bueno
аааааа -> uh

бббббббббббббббббббббббббббббббббббббб bien>> es algo bueno?

ббббббббббббббббббббббббббббббббббббббббб bien -> es algo bueno

En todo lo anterior, la repetición de la letra rusa se ha dado en el lado mongol.

Leer más en Más diversión con la traducción automática de Google

Es difícil decir qué significa “95% de precisión”. Creo que el desacuerdo entre traductores humanos normalmente supera el 5%.

En Intento monitoreamos regularmente la calidad de todos los motores de Cloud MT utilizando puntajes hLEPOR, puede consultar el último informe aquí: Estado de la traducción automática por Intento (noviembre de 2017)

Para ser cortos: el fin de 2017 ya casi está aquí, mientras que la mejor calidad que vemos es para inglés a Portugal y está por encima del 70% 🙂

Deje de ser bueno, pero la máquina no puede traducir la emoción y no dará precisión. Para mayor precisión, debe contratar servicios de traducción profesionales.