Hay muchas razones que podrían explicar este comportamiento. Por un lado, si realizó el cambio para todos los usuarios y ahora ve una caída en las métricas, podría ser un factor exógeno que no puede medir. Por ejemplo, menos usuarios en general podrían llegar a su sitio independientemente de su cambio de producto. La otra gran posibilidad es que haya un efecto de novedad. El cambio podría generar un efecto mayor porque los usuarios están interesados en probar la nueva funcionalidad, pero luego disminuyen con el tiempo si el cambio no conduce a una mejor experiencia.
Un artículo más detallado que disfruté: una docena sucia: doce dificultades comunes de interpretación métrica en experimentos controlados en línea. Esta publicación cubre una serie de problemas con las pruebas A / B que Microsoft encontró en su experiencia y es una lectura obligada para los científicos de datos que trabajan con la experimentación.
- Cómo convertirse en un científico de datos
- ¿Pueden las herramientas de Big Data ayudar a borrar el ciclo económico?
- ¿Es esto con lo que tienen que lidiar los científicos de datos?
- ¿Por qué no se puede usar R para escribir código de grado de producción? ¿Por qué Python no se usa también para la creación de prototipos?
- ¿Cuánta variedad hay en un puesto de ciencia de datos?
