Existen mediciones objetivas y cuantificables, siempre que las herramientas estén en su lugar para la presentación de informes. Algunos incluyen:
Tasa de falla
– ¿El asistente de IA responde a una intención determinada o falla porque no entiende la intención? A menudo, un consumidor obtendría algo como “Lo siento, no entendí eso”. Ese es un mensaje alternativo a una intención que la IA no entendió. Puede verlo como un% frente a todos los mensajes recibidos.
Tasa de éxito
– Lo contrario de Fail Rate. Por cada solicitud entrante que recibe la IA, si comprende la intención y puede responder. Por supuesto, es posible que no sepa si la respuesta es la respuesta correcta, pero luego puede solicitar la confirmación del usuario final para validar si lo hizo.
- ¿Cómo es que todavía no tenemos inteligencia artificial? Para mí es un signo de debilidad, ya que es solo una cuestión de conectarse a una cosa.
- ¿Es correcto afirmar que no existe la inteligencia artificial?
- ¿Qué ciencias necesitas estudiar para convertirte en un especialista en inteligencia artificial?
- ¿Podemos detenernos con las filosofías de inteligencia artificial y llegar a mejorarlas y comprenderlas?
- ¿Qué problemas podría resolver la IA en los próximos tres años?
Si bien entiendo que su pregunta se relaciona con los resultados interpretados con éxito, la tasa de falla es importante para comprender dónde están los cuellos de botella, porque si puede encontrar patrones, entonces puede solucionar problemas y aumentar la tasa de éxito.
Tenga en cuenta que Facebook informó recientemente una tasa de falla del 70% para su asistente de inteligencia artificial “M”.
Otras medidas también son relevantes. Al igual que el Usuario que regresa y Churn (si dejan de interactuar con él durante 24 horas / 30 días / etc.) eso sería valioso.
Gracias,
Josh / Janis
