¿La regresión logística tiene en cuenta el desequilibrio de datos?

La mayoría de las personas tienen una grave falta de comprensión acerca de los clasificadores y cómo establecer umbrales.

La respuesta correcta NO es establecer el umbral en 0.5.

Debe saber qué métrica está tratando de maximizar y el rendimiento de su clasificador en su conjunto de datos.

Sí, con un término de sesgo, la regresión logística tendrá en cuenta el desequilibrio. Pero eso no significa que 0.5 sea un buen umbral.

Por ejemplo, si sus características no son muy buenas y establece el umbral en 0.5 con un desequilibrio de clase de 95/5, básicamente siempre predecirá la clase mayoritaria y alcanzará un 95% de precisión.

Pero, siempre emitirá la misma predicción 1,1,1,1,1,1 …

¿Es eso lo que quieres? Si no, no establezca el umbral en 0.5.

¿Te importa el recuerdo? ¿Cuántos falsos positivos son aceptables para usted? Debe tenerlos en cuenta y luego decidir un umbral que satisfaga las necesidades de su problema.

Si utiliza “proc logistic” en SAS con la opción “ctable”, se utilizarán varios valores de corte en una cuadrícula de 0.0 a 1.0, incluido 0.5; tenga en cuenta que ctable utiliza predicciones de validación cruzada de dejar uno fuera, que es lo que desea. Los valores de tabla se colocan en una curva llamada curva ROC que muestra qué tan bien su modelo de regresión logística predice sus datos en general, sobre todos los posibles cortes.

De todos modos, si fuera yo, elegiría el límite que maximiza la sensibilidad y la especificidad de una manera con la que te sientas cómodo. Por cierto, también debe incluir una prevalencia de población estimada para clasificar, el valor predeterminado de SAS es la proporción de muestra de éxitos.

escriba el paso de gradiente para esto y descomponga la suma sobre sus datos en i: y_i = 1 e i: y_i = -1 y verá cómo impacta el término de intercepción

More Interesting

¿Cuáles son algunos buenos textos en MCMC?

¿Qué nos dicen las cargas de variables del análisis de componentes principales?

¿Cómo se determinaría la relevancia de un artículo frente a algunas palabras clave?

Todos estos algoritmos de aprendizaje automático, ¿cuál es el punto? Parece que la elección del algoritmo de aprendizaje automático, el árbol de decisión, la red neuronal, svm, no es tan importante como la selección de características y el proceso de extracción de características que determina lo que entra, basura en basura, ese tipo de cosas.

¿Cuáles son los cursos necesarios para aprender la recuperación de información y el aprendizaje automático?

¿Por qué las personas usan Keras en el back-end de TensorFlow y no solo en TensorFlow?

¿Cuál es el mejor marco de aprendizaje profundo para Apache Spark?

Cómo implementar un modelo entrenado de TensorFlow (solo parte de propaganda directa) en CPP puro

¿Por qué es tan importante aprender las redes neuronales convolucionales?

¿Cuáles son las nuevas modificaciones en las redes neuronales recurrentes cuando se considera el aprendizaje profundo?

¿Cuáles fueron las principales conclusiones del tutorial de Richard Sutton sobre el aprendizaje por refuerzo en NIPS 2015?

¿Cómo podemos hacer csv o dataset textual a partir de imágenes?

Visión por computadora: ¿Existe un servicio que, dada una imagen, le dice lo que representa?

¿La investigación actual sobre el procesamiento del lenguaje natural gira principalmente en torno al aprendizaje profundo? Si no, ¿cuáles son las técnicas modernas alternativas?

¿Qué opina del Proyecto Microsoft Kensci que utiliza el aprendizaje automático en la gestión predictiva de riesgos de salud?