Recientemente escribí en un blog sobre esta misma pregunta. No se deje engañar con falsos positivos cuando realice pruebas AB | Ometrics
La publicación tiene explicaciones para las siguientes pautas.
Directrices de prueba de optimización de conversión AB
- ¿Qué clases debo tomar en Duke si quiero ser un científico de datos?
- ¿Cómo debe medirse el rendimiento de un equipo de ciencia de datos como una unidad? Por ejemplo, si lideraba el equipo de ciencia de datos de LinkedIn, ¿cómo debería evaluar mi desempeño el CEO?
- ¿Cuál es la diferencia entre análisis de datos y análisis de datos? ¿Cómo se refleja esta diferencia en los procedimientos de gestión de datos de una empresa?
- ¿Cómo realizan las empresas el análisis predictivo utilizando herramientas Hadoop / Big Data a gran escala?
- ¿Cuáles son algunos buenos paquetes de R para el análisis de datos cualitativos?
- Siempre ejecute una prueba de confianza estadística del 90% o más. Tenga en cuenta que los diferentes sistemas de prueba AB utilizan algoritmos diferentes, como chi cuadrado, puntaje z y derivados de estos. Esto significa que hay una variación al comparar datos entre diferentes sistemas de prueba, pero si está probando por encima del 90%, está bien.
- Realice siempre una prueba durante al menos siete días, incluso si tiene un ganador estadístico antes. Esto tendrá en cuenta la publicidad, las personas de usuario y las variantes de dispositivo de usuario. Por supuesto, esto también depende de la cantidad de tráfico y conversiones que esté obteniendo. No es inusual ejecutar una prueba en una página que tiene un volumen bajo de miles de visitantes durante un mes.
- Busque la tasa de conversión acumulativa de las variantes de prueba en comparación con el control y vea si las líneas se cruzan o son consistentemente superiores o inferiores.
> Por encima del control : muy probablemente un levantamiento sólido
> Cruzando el control : la prueba aún no ha seguido su curso y no es estadísticamente precisa
> Por debajo del control y no va a ser positivo : lo más probable es que sea una elevación negativa, este tipo de variante se puede detener antes para acelerar las pruebas. - Verifique los datos por dispositivo. A menudo, los dispositivos pueden cancelar los resultados de los demás. Una computadora de escritorio puede tener un resultado positivo, pero el móvil no, lo que hace que la conversión total no sea tan buena como podría ser. Esto también le indica que solo se necesitan pruebas móviles.
- Tenga en cuenta otros factores durante su período de prueba, como vacaciones, cambios en la campaña publicitaria, elevaciones en el tráfico debido a otras iniciativas corporativas.
- Hacer una prueba A / A puede ayudar a determinar la duración de la prueba y la elevación de conversión mínima.
- Si no está seguro de que no duele continuar ejecutando la prueba a menos que los resultados sean insignificantes.
