En la curva ROC, cualquier punto es resultado del modelo en un parámetro particular. No estoy claro por qué el adivinador aleatorio está en x = y y no siempre (0.5, 0.5). ¿También cómo interpretar el área bajo la curva?

“cualquier punto es el resultado del modelo en un parámetro particular”, esta no es la mejor manera de expresarlo. Esto es lo que hace una curva ROC:

Digamos que ha entrenado un clasificador que predice la probabilidad de que la etiqueta sea 1 para cada posible ubicación x. Este es un valor continuo para cada punto. Ahora, según estas probabilidades, debe clasificar cada punto, es decir, decidir si un punto se clasifica como 1 o como -1. En otras palabras, desea convertir las predicciones continuas en predicciones binarias.

La forma en que normalmente hace esto es establecer un umbral t, y luego para cada punto comparar la probabilidad predictiva p con el umbral t. Si p> t, entonces clasifica el punto como 1, si p

El umbral t es ahora el parámetro libre que le interesa al dibujar la curva ROC. Si establece t = 1, entonces clasificará todo como -1, dando como resultado una tasa de 100% de falsos negativos (FN) y una tasa de 0% de falsos positivos (FP). Si establece t = 0 y siempre clasifica todo como +1, dando 0% FN pero 100% FP. Los valores intermedios de t obtienen valores intermedios de FP y FN, que trazan su curva ROC.

Nivel de probabilidad: si su algoritmo escupió probabilidades aleatorias de manera uniforme en [0,1], entonces aplicó el umbral con el umbral t, entonces el número de falsos positivos sería proporcional a t.

El valor óptimo de t puede derivarse del valor numérico de las pérdidas que asocie con diferentes tipos de errores. Si FP y FN son igualmente malos, entonces t = 0.5 es el umbral óptimo. si sus FP le cuestan el doble que FN que t = 2/3 es la solución ideal.

Por lo tanto, si tiene una función de pérdida particular para sus errores, lo único que debe preocuparse es el rendimiento en ese punto particular a lo largo del ROC. Sin embargo, a veces no conoce las pérdidas, y / o desea que el método sea robusto sin importar cuáles sean las pérdidas, por lo que le gustaría medir el rendimiento general en todos los puntos a lo largo del ROC. El área bajo la curva AuC es un número intuitivo que resume lo robusto que es un método.