¿Cuáles son los mejores KPI para el equipo de Data Science?

Aquí hay cinco que casi le garantizarán la frustración de su equipo de ciencia de datos, y cinco que realmente podrían ayudarlo.

Evita estos:

  • Número de modelos lanzados a producción: no todos los modelos son iguales, y la implementación a menudo no está bajo el control de la ciencia de datos.
  • Precisión del modelo en diferentes dominios : es bueno mejorar un modelo dado un contexto establecido y un conjunto de datos, pero es una locura comparar la precisión del pronóstico en el país A para las ventas con el país B para el inventario.
  • Las métricas de “calidad de tiempo-costo” para nuevos proyectos hasta que un proyecto haya pasado por una fase de prueba de concepto con datos reales: tratar de imponer principios de gestión de proyectos tradicionales demasiado pronto es una receta para el desastre porque no se trata de “administrar estimaciones inciertas” , se trata de averiguar si el caso de uso es viable.
  • Utilización de ‘herramientas’: las herramientas no son el foco, muchos de los mejores científicos y analistas de datos son independientes de las herramientas, y ‘forzar’ el uso de una herramienta en particular a menudo agrega restricciones innecesarias.
  • Número de científicos de datos en un proyecto: ¿realmente desea ofrecer incentivos para un proyecto de 10 millones de dólares con un ROI del 5% o un proyecto de 10 mil dólares que tiene un ROI del 500%?

Considere estos:

  • Antigüedad del patrocinio de proyectos de ciencia de datos
  • Extensión, tiempo y acceso a las fuentes de datos (entre ‘Tengo una idea para un proyecto de adquisición de ciencia de datos’ a ‘Estoy viendo los datos en este momento’)
  • Número y proporción de científicos de datos totalmente utilizados en el trabajo que hace pleno uso de sus capacidades.
  • Adopción del usuario final y comentarios de los productos implementados en el negocio
  • Número de casos de uso investigados y conjuntos de datos extraídos y explorados

No pregunte “qué es un buen KPI para un equipo de datos ” sin preguntar también “qué es un buen KPI para un equipo científico “.

Esto es realmente bastante difícil. Los científicos de datos están acostumbrados a optimizar números / encontrar fallas en los sistemas, por lo que escribir KPI robustos puede ser complicado. Dicho esto, aquí hay dos principios rectores:

  • ROI La ciencia de datos debería hacer que el negocio sea más eficiente. Si puede hacer que los otros equipos digan ‘este proyecto ha aumentado mi GP en $ 2M, entonces eso es bastante convincente. Tu equipo debería poder darte esos números, pero me aseguraría de que el equipo para el que está trabajando los firme.
  • 360. Los colegas deben hablar muy bien de trabajar con ellos. Data Science es en gran medida un deporte de equipo

El punto sobre estos es que son difíciles de jugar. Data Science debería generar dinero para su empresa o, de lo contrario, es una pérdida de tiempo, por lo que si no obtiene un ROI medible, es hora de realizar cambios. También Data Science implica generar una gran cantidad de cambio. Es muy fácil molestar a las personas, por lo que es importante su capacidad para integrarse en la empresa.

Suposiciones

  1. Supuse que está configurando el equipo como consultores internos, por lo que los clientes son otras unidades de negocios. Ajusta lo anterior si vas por una estructura diferente.
  2. También he asumido que estás buscando un KPI del equipo. Los miembros individuales probablemente tendrían KPI más simples (por ejemplo, modelos lanzados a producción).

No dude en ponerse en contacto si tiene alguna pregunta de seguimiento.