Al ejecutar una prueba A / B, ¿durante cuánto tiempo ejecuta el experimento?

Recientemente escribí en un blog sobre esta misma pregunta. No se deje engañar con falsos positivos cuando realice pruebas AB | Ometrics

La publicación tiene explicaciones para las siguientes pautas.

Directrices de prueba de optimización de conversión AB

• ¿Desde dónde debería comenzar para aprender el desarrollo de big data?
• ¿Cómo podemos analizar y consultar sobre el diseño, implementación y evaluación de un algoritmo?
• ¿Por qué están tan de moda los modelos de caja negra?
• Cómo crear un cuaderno Jupyter en AWS
• ¿Cuál es la mejor manera de hacer un curso sobre big data en India?

1. Siempre ejecute una prueba de confianza estadística del 90% o más. Tenga en cuenta que los diferentes sistemas de prueba AB utilizan algoritmos diferentes, como chi cuadrado, puntaje z y derivados de estos. Esto significa que hay una variación al comparar datos entre diferentes sistemas de prueba, pero si está probando por encima del 90%, está bien.
2. Realice siempre una prueba durante al menos siete días, incluso si tiene un ganador estadístico antes. Esto tendrá en cuenta la publicidad, las personas de usuario y las variantes de dispositivo de usuario. Por supuesto, esto también depende de la cantidad de tráfico y conversiones que esté obteniendo. No es inusual ejecutar una prueba en una página que tiene un volumen bajo de miles de visitantes durante un mes.
3. Busque la tasa de conversión acumulativa de las variantes de prueba en comparación con el control y vea si las líneas se cruzan o son consistentemente superiores o inferiores.
   > Por encima del control : muy probablemente un levantamiento sólido
   > Cruzando el control : la prueba aún no ha seguido su curso y no es estadísticamente precisa
   > Por debajo del control y no va a ser positivo : lo más probable es que sea una elevación negativa, este tipo de variante se puede detener antes para acelerar las pruebas.
4. Verifique los datos por dispositivo. A menudo, los dispositivos pueden cancelar los resultados de los demás. Una computadora de escritorio puede tener un resultado positivo, pero el móvil no, lo que hace que la conversión total no sea tan buena como podría ser. Esto también le indica que solo se necesitan pruebas móviles.
5. Tenga en cuenta otros factores durante su período de prueba, como vacaciones, cambios en la campaña publicitaria, elevaciones en el tráfico debido a otras iniciativas corporativas.
6. Hacer una prueba A / A puede ayudar a determinar la duración de la prueba y la elevación de conversión mínima.
7. Si no está seguro de que no duele continuar ejecutando la prueba a menos que los resultados sean insignificantes.