Cómo probar A / B una nueva aplicación de mensajería sin restringir con qué miembros pueden hablar (es decir, los miembros en el grupo de “prueba” aún pueden enviar mensajes a los miembros en el grupo de “control”)

Para responder a su pregunta en breve: no tiene que preocuparse por la validez de la prueba, especialmente si hace que los grupos tengan el mismo tamaño. Si lo desea, puede ajustar los números finales para el efecto de la polinización cruzada.

Ahora, no estoy seguro si tiene restricciones operativas en la polinización cruzada. Si lo hace, debe resolverlos de alguna manera, pero desde el punto de vista del diseño de la prueba, no es gran cosa.

Ejecutemos algunos números de muestra.
10K sujetos en cada grupo, divididos aleatoriamente, 20% de cada grupo “polinizan de forma cruzada”. La verdadera elevación de A sobre B en número de mensajes es del 10%, y es del 5% para aquellos en el grupo de polinización cruzada.
Su aumento para la A será 80% * 10% + 20% * 5% = 9%
Grupo B: 80% * 0% + 20% * 5% = 1%
Elevación: 8%

Por lo tanto, su prueba sigue siendo válida, es decir, debería producir una diferencia en los resultados, hasta que el nivel de polinización cruzada se acerque peligrosamente al 100%. Si desea ajustar la elevación (diferencia) por el coeficiente de polinización cruzada, debe dividirlo por (1-CP).

Es posible construir la misma prueba con diferentes tamaños de grupos, pero luego necesitaría hacer más cálculos para ajustar los números.

Si su respuesta es difundir viralmente el acceso a la función (es decir, cualquiera que reciba un mensaje y luego sea puesto en “prueba”), entonces, ¿cómo se reduce en caso de problemas de rendimiento / carga?

Un diseño potencial sería ‘agrupar al azar’ a los participantes para que estén en cualquiera de las condiciones. Por lo tanto, identificaría grupos de personas que probablemente se enviarían mensajes entre sí y asignaría grupos completos a la condición A o B (en lugar de asignar individuos).

Al hacer esto, puede reducir los mensajes de personas A a personas B a una cantidad que podría ignorar de forma segura. Sin embargo, perderá algo de poder debido a la similitud de las personas dentro de los grupos.

Esta es una técnica estándar en ensayos clínicos donde existe una alta probabilidad de contaminación entre grupos.