¿Qué tan importante es la prueba A / B para un científico de datos que trabaja en una empresa de tecnología?

Depende completamente del tipo de empresa. Una de las principales características distintivas es si la empresa está fabricando algún producto que tiene muchos usuarios. Las empresas web de consumo son excelentes ejemplos: Pinterest, Facebook, Quora, etc., todos tienen millones de usuarios, y tal vez incluso el caso más común y conocido en el Silicon Valley.

Cuando tienes muchos usuarios, entonces tienes la oportunidad de experimentar con detalles ajustados (¿deberíamos usar un botón de color azul o uno rojo? ¿Deberíamos usar el algoritmo anterior o uno nuevo?).

Dicho esto, para las empresas que tienen, digamos, cientos de usuarios (es decir, clientes), puede que no sea un ROI lo suficientemente alto como para desarrollar toda la infraestructura necesaria para las pruebas A / B. Es una inversión bastante significativa para entrar en él debido al software de back-end que debe escribirse para admitirlo. También refleja un cambio en la forma en que se toman las decisiones: debe contar con personas en la gerencia que consideren valioso consultar los datos, por sobre la intuición, al tomar decisiones importantes sobre el producto.

Y para ser claros, algunos científicos de datos actúan más como ingenieros de software que como analistas de productos, por lo que incluso en las empresas donde se realizan pruebas A / B, los científicos de datos pueden no necesariamente estar tan involucrados en ello. Es en este punto que te das cuenta de lo inútil que es la etiqueta del científico de datos para describir los roles en el valle del silicio 🙂

Como ya se dijo en otras respuestas, depende. Una forma de verlo es en el contexto de las etapas del flujo de trabajo:

1. ETL, adquisición de datos, arquitectura
2. Construcción de modelos, ajuste de funciones, automatización.
3. Evaluación de desempeño, elevación relativa, medidas de KPI y desarrollo de negocios.

Algunos trabajos de ciencia de datos se centran en la primera y segunda etapa y pasan por alto la importancia de evaluar críticamente los resultados. Tal vez esté bien en caso de que el propósito sea automatizar un proceso manual y los ahorros de costos ya superen con creces cualquier beneficio incremental de un algoritmo frente al otro. Yo diría que las pruebas A / B y las medidas críticas de rendimiento juegan un papel más importante para las compañías maduras donde las tuberías de la etapa uno y dos están en su lugar, a pesar de que idealmente deberían haber sido incorporadas en la tubería desde el principio.

Muy importante en mi opinión.

Una de las funciones principales de un científico de datos es crear modelos para resolver enunciados de problemas específicos. La mayoría de estos problemas giran en torno a la predicción o clasificación.

No hay un modelo único que pueda predecir perfectamente el resultado en el futuro . Lo que a menudo terminamos es con una cubeta de modelos. Todos parecen tener un rendimiento más o menos similar en el entorno de prueba fuera de línea.

Imagine el caso cuando desarrolló 2 modelos para predecir el comportamiento de algunos clientes:

1. Modelo A: funciona muy bien, pero es un modelo de caja negra (por ejemplo, redes neuronales). Entonces, esto no te dice reglas legibles por humanos.
2. Modelo B: esto no funciona tan bien (pero cerca del modelo A). A diferencia de A, este modelo también le proporciona las reglas. ¡Estas reglas pueden ser más beneficiosas para nuestros clientes en CleverTap porque ahora pueden tomar medidas directamente sobre estos comportamientos!

Es posible que prefiera el Modelo B debido a su transparencia . Aquí es donde entra en juego la importancia de las pruebas A / B. Si tiene una base de clientes lo suficientemente grande, puede hacer lo siguiente:

1. Pruebe el modelo A en el 5% de su población
2. Pruebe el modelo B en el 5% de su población
3. Seleccione otro 5% más de población como su grupo de control
4. Implemente ambos modelos A y B en la población seleccionada

Ahora, podemos probar el Modelo-A versus el Modelo-B con población viva y verificar cómo funciona el Modelo-B con el Modelo-A. Si el Modelo-B funciona razonablemente bien, tienes suerte 🙂

También hemos desarrollado un tutorial simple para explicar las pruebas A / B.

También tiene una calculadora de prueba A / B avanzada que le permite

a) ingresa tus objetivos y te aconseja un tamaño de muestra correcto

b) le permite saber si el ganador gana por un margen significativo

Pruébelo: una guía de marketing para pruebas A / B

¡Muy importante! Por lo general, un científico de datos trabaja con experimentos fuera de línea con métricas adecuadas: tasa de clasificación errónea, errores de pronóstico, recuperación y precisión, etc. En este caso, un científico de datos descuida los efectos que aparecen mientras el usuario interactúa con su sistema.

Un buen ejemplo: sistemas de recomendación. Es imposible predecir completamente el comportamiento de un usuario mediante experimentos fuera de línea porque un nuevo algoritmo influirá en el comportamiento del usuario. Según mi experiencia, 9 de 10 métricas positivas sin conexión no arrojarán resultados positivos en experimentos en línea.

Vea un artículo muy interesante al respecto: predicción del rendimiento en línea de los sistemas de recomendación de noticias a través de métricas de evaluación más ricas