Cómo explicar el desempeño de un modelo predictivo a la gerencia que no conoce el aprendizaje automático

Este es un caso claro de comunicación. La comunicación es realizada por el receptor. En el caso de su pregunta, la comunicación solo ocurre cuando la “gerencia” comprende su mensaje.

No estoy siendo crítico. Si está preguntando esto, su mente está en el lugar correcto. Simplemente lo estoy poniendo en un contexto que no es de ingeniería.

Los usuarios comerciales entienden varios temas. Rendimiento, ingresos, riesgo, por nombrar algunos. Su modelo de predicción tiene un cierto rendimiento. El rendimiento de su modelo se traduce en un impacto comercial positivo. De lo contrario, ¿para qué sirve?

Para explicar el rendimiento de su modelo, debe hacer referencia al impacto comercial que espera.

Dejame darte un ejemplo. Estamos trabajando en un algoritmo de detección de abandono. El analista que trabajaba en él hizo una presentación a los interesados ​​en el producto. Mostró que, dependiendo de cómo ajustemos el modelo, podríamos clasificar correctamente un mayor porcentaje de usuarios como churners a expensas del número total de usuarios que clasificaría el algoritmo.

Dado que actuar sobre usuarios clasificados incorrectamente presentaba un riesgo muy bajo, la gran pregunta era ¿cómo podríamos clasificar el mayor número absoluto de abandonos verdaderos?

Podríamos haber mostrado matrices de confusión y curvas ROC, pero eso no respondió lo que querían saber.

Espero que esto ayude y la mejor de las suertes!

Preferiblemente en dólares.

Es diferente en cada caso y es uno de los trabajos de un científico de datos que es más difícil de automatizar.

Tratamos de hacer que nuestros modelos de predicción estén directamente vinculados para tomar decisiones comerciales y valorarlos en algún momento, es más fácil que en otros casos.

Algunos ejemplos fáciles:

“Reducimos el fraude en un 30% con el nuevo sistema a un costo del 0.1% de las transacciones buenas. Podemos calibrar la compensación y elegimos este punto para optimizar las ganancias mientras cumplimos con las restricciones regulatorias. Esto nos ahorrará miles de millones de dólares. tener un aumento “.

“El nuevo sistema aumentará el CTR en un 9% y nos traerá unos ingresos extraordinarios en dólares”.

En algún momento su modelo está más alejado de las ganancias, por lo que se vuelve más difícil:

“Aumentamos la precisión del etiquetado automático de artículos en un 10% al tiempo que mantenemos la cobertura del artículo (recuperación). Esto debería mejorar la experiencia de búsqueda y ayudar a nuestros clientes a encontrar lo que quieren, generar satisfacción y aumentar las ventas. Sabemos que los artículos etiquetados correctamente también se venden 3 veces como elementos etiquetados incorrectamente y, por lo tanto, el cambio puede (pero probablemente no) generarnos otro gazzilion de dólares “.

Cada caso es diferente.

More Interesting

¿Cuáles son algunos problemas no resueltos en el procesamiento del lenguaje natural?

Si su red neuronal no está aprendiendo (o no está aprendiendo mucho), ¿qué pasos toma para descubrir por qué?

¿Por qué utilizamos el agrupamiento en el análisis estadístico? ¿Puedes dar una explicación intuitiva o ejemplos intuitivos?

¿Qué criterios deberían ser apropiados para terminar el entrenamiento codicioso no supervisado de autoencoder por capas?

¿Hay algún solucionador que minimice la función objetivo [matemática] f (x) = \ matemática {e} ^ x [/ matemática] donde [matemática] x> 0 [/ matemática]?

¿Cómo uso la regresión logística si la variable dependiente tiene más de 2 dimensiones?

En el modelado de datos, ¿podría ser una buena idea crear algorítmicamente una característica grande para activar las meta características actuales antes del modelado?

¿Qué tan 'neurales' son las redes neuronales?

¿Cuál es la diferencia entre el análisis factorial exploratorio (EFA) y el análisis factorial confirmatorio (CFA)?

¿Hay alguna manera de probar el límite de precisión teórica para clasificar un conjunto de datos en particular? O, ¿hay alguna forma de confirmar que la calidad de los datos es insuficiente para un problema?

¿Por qué deberíamos considerar muestras negativas en un sistema de recomendación basado en comentarios implícitos?

¿La red neuronal profunda es realmente un aprendizaje profundo?

¿Por qué están recibiendo tanta atención Machine Learning + Big Data?

¿Cuáles son los modelos actuales de análisis de sentimiento de arte independientemente de la efectividad?

¿Qué significa "tomar la media geométrica de la distribución predictiva producida por las redes de abandono exponencialmente numerosas" en redes neuronales profundas?