¿Cómo debe medirse el rendimiento de un equipo de ciencia de datos como una unidad? Por ejemplo, si lideraba el equipo de ciencia de datos de LinkedIn, ¿cómo debería evaluar mi desempeño el CEO?

Respondiendo mi propia pregunta ya que nadie más se ofreció como voluntario 🙂

Como función horizontal, el equipo de ciencia de datos respaldaría un conjunto de productos que pueden beneficiarse de la profundidad de los atributos que conocemos sobre un usuario. En el lado de la infraestructura, el almacenamiento de atributos del usuario, el marco de segmentación del usuario, la plataforma de pruebas AB, etc., deben estar con el equipo de ciencia de datos (o estar disponibles para ellos si la estructura de la organización de ingeniería es diferente).

He configurado mis propias métricas en línea con el éxito de los respectivos gerentes de producto. Por ejemplo, también lidero un producto de venta adicional específico en mi empresa y quiero implementar la personalización a nivel de usuario utilizando datos demográficos (edad, género, ingresos, etc., etc.). Mi éxito está ligado al aumento que puedo generar en un A / B de ventas adicionales (con un mínimo del 5% en términos relativos).

Aquí hay muchas partes móviles, por ejemplo, levantar es claramente una función de cuán buenos son los algoritmos de recomendación, no son necesariamente mis algoritmos de clasificación para estimar el género. Por ahora, planeo colaborar con todos los PM respectivos para asegurar que, como prueba de concepto, comiencen a ver un aumento del 5%. En el momento en que se logra, he demostrado la precisión de los datos base y su capacidad para impulsar los resultados comerciales. Preferiría salir una vez que termine la etapa de prueba de concepto y dejar que los respectivos tipos de productos lleven las cosas a alturas más grandes. Veamos cómo va. Tal vez debería disparar por una métrica diferente seis meses antes.