¿Hay alguna métrica de evaluación para chatbots?

Sí, hay 2 métricas principales: retención y compromiso 🙂 La respuesta a continuación se basa en entrevistas que tuve con 3 fundadores de Chatbot de Poncho, OnSequel, BotAnalytics y se puede ver en su totalidad aquí: Cómo mejorar rápidamente la retención y el compromiso de su Chatbot

Retención : este es el número de usuarios que su chatbot retiene durante un período de tiempo específico. Actualmente, las tasas de retención promedio según BotAnalytics son:

  • Diario: 1–2%
  • Semanal: 3–4%
  • Mensual: 7–8%

Compromiso : esta es la calidad de la interacción entre su bot y el usuario en comparación con el nivel ideal. Por ejemplo, el nivel ideal de interacción para un Entertainment Bot podría ser varias veces al día con largas sesiones y muchas interacciones por sesión. Por el contrario, la tasa de interacción deseada para el bot DoNotPay, que combate las multas de estacionamiento por usted, podría ser que el usuario finalice el flujo rápidamente y con la menor cantidad de interacción posible. Depende de usted definir cómo se ve el nivel de compromiso ideal.

Cómo comparar tu bot de la manera correcta

Hay una variedad tan amplia de casos de uso de chatbot que no tiene sentido compararlos con el promedio. Es posible que tenga un caso de uso que resuelva un problema y esperemos que el usuario nunca regrese (por ejemplo: DoNotPay Bot) o que tenga un caso de uso diario.

La mejor manera de comparar es comparar su bot con las aplicaciones móviles de su categoría. Como mínimo, sus objetivos deben ser superarlos.

Cómo mejorar el compromiso y la retención de Chatbot:

1. Conozca a sus usuarios: debe desarrollar una Persona de usuario basada en sus usuarios más exitosos (en términos de compromiso y retención) y una vez que tenga esto, comience a optimizar el flujo y el producto para ellos.

2. Súper personalización: los bots tienen un súper poder, pueden segmentar al público realmente bien. Al final, el bot debería sentirse personalizado para cada usuario.

3. Diseño de producto para la formación de hábitos: su bot debe resolver sin problemas un problema doloroso y tener ganchos psicológicos integrados. El objetivo es crear un producto que forme hábito.

Para obtener más información sobre el compromiso y la retención, consulte : Cómo mejorar rápidamente la retención y el compromiso de su Chatbot

También puede obtener más información sobre el diseño de Chabot en Chatbot’s Life

Stefan Kojouharov

Quiero hacer un marco a través del cual podamos evaluar el rendimiento de los Chatbots. ¿Cómo podemos hacer eso? ¿Hay algún marco disponible?

More Interesting

¿Cuáles son algunos ejemplos de uso de modelos no lineales para regresión?

¿Cómo calcula Gensim.Word2vec la probabilidad de texto usando una puntuación de modelo?

Cómo usar el aprendizaje automático para unir un patrón a partir de valores CSV

¿Cuál es la definición de 'conjunto de desarrollo' en el aprendizaje automático?

¿Puede un ML / AI aprender a pasar captchas?

¿La correlación entre dos variables cuenta como evidencia débil de un vínculo causal entre ellas?

¿Cuál es la regla de entrenamiento para redes de perceptrón de capa única con umbral?

Entre la agrupación y la clasificación, ¿cuál requiere más experiencia?

¿El análisis discriminante lineal funciona para distribuciones que no sean gaussianas?

¿Qué saben los profesionales del aprendizaje automático y los científicos de datos de la industria sobre el análisis, la probabilidad basada en la teoría de la medida y el álgebra lineal numérica?

En el análisis de sentimiento binario, ¿es razonable tratar el texto de baja confianza como una tercera clase neutral?

¿Existen por sí mismas redes neuronales que cambian automáticamente y que pueden cambiar su estructura interna (capas, nodos, hyerparameters)?

¿Cómo se pueden utilizar los autoencoders apilados para preentrenar una red neuronal que tiene más neuronas en las capas ocultas que entradas? es posible?

Cómo saber si una startup tecnológica que ofrece soluciones empresariales que utilizan el aprendizaje exclusivo en profundidad está tratando de estafar a mi empresa

¿Dónde puedo encontrar modelos de TensorFlow previamente entrenados como el zoológico modelo Caffe?