Método 1 :
El AUC tiene una propiedad estadística importante: el AUC de un clasificador es equivalente a la probabilidad de que el clasificador clasifique una instancia positiva elegida al azar más alta que una instancia negativa elegida al azar. Esto es equivalente a la ‘ estadística U de Mann-Whitney ‘ o ‘estadística de suma de rango de Wilcoxon’. Árbitro. [1] tiene una muy buena derivación.
[matemáticas] AUC = \ frac {U} {n_Pn_N} [/ matemáticas]
[matemáticas] U = AUC * n_P * n_N [/ matemáticas]
- ¿Qué es la regresión de Ridge en términos simples?
- Cómo encontrar el contexto de una conversación usando técnicas de aprendizaje automático / aprendizaje profundo / PNL
- Cómo construir mi propio sistema de inteligencia artificial
- ¿Cuáles son algunos buenos libros para principiantes y avanzados sobre redes neuronales e inteligencia artificial?
- ¿Por qué se requieren conocimientos de aprendizaje automático para un periodista de datos? ¿Por qué la exploración y visualización de datos por sí sola no es suficiente para el periodismo de datos?
donde, [math] n_P [/ math] y [math] n_N [/ math] son el número de ejemplos positivos y negativos, respectivamente.
Una vez que haya calculado una estadística [matemática] U [/ matemática], puede compararla con la tabla de valores críticos y obtener el nivel de significación.
Método 2 :
Puede evaluar la importancia de un valor de AUC realizando una prueba de permutación . Puede hacer esto al 1) permutar aleatoriamente las etiquetas de clase de sus vectores de características, 2) ejecutar su clasificador y 3) registrar el AUC. Repita los pasos 1-2-3 una gran cantidad de veces y registre todos los AUC ‘aleatorios’. Finalmente, puede comparar el AUC observado con la distribución empírica de AUC ‘aleatorios’ (AUC_r) de las pruebas de permutación para obtener un valor p = fracción de AUC_r mayor o igual a su AUC observado.
[1] Mason, SJ, Graham, NE (2002). Áreas debajo de las curvas de características operativas relativas (ROC) y niveles operativos relativos (ROL): significación estadística e interpretación. Revista trimestral de la Royal Meteorological Society (128): 2145–2166.
Puede encontrar el PDF aquí: http://www.inmet.gov.br/document…
