¿Qué métrica de rendimiento debo elegir para evaluar un modelo de clasificación?

La métrica obvia para comparar dos modelos de clasificación es alguna noción de precisión , tal vez una comparación de precisión en varios conjuntos de datos de referencia.

Algunos otros aspectos para comparar dos algoritmos:

  1. Complejidad : esto está relacionado con la precisión. Esencialmente, un modelo más complejo funcionará mejor en problemas más complejos, pero se sobreajustará en problemas más simples. Un modelo más simple hará lo contrario. Puede comparar cómo controla la complejidad, como en SVM con kernel RBF, tiene un parámetro para controlar el ancho del kernel.
  2. Tiempo de entrenamiento – ¿Cómo crece con el no. de muestras de entrenamiento y el no. de características? También puede analizar los algoritmos de optimización utilizados en cada modelo aquí, como descenso de gradiente, solución de forma cerrada, ISTA, etc.
  3. Tiempo de predicción: una vez más, ¿cómo crece con el no. de muestras de entrenamiento y el no. de características?
  4. Tamaños de modelos : ¿qué necesita almacenar para predecir? Habla sobre la complejidad del espacio.
  5. Hiperparámetros – Más el no. de hiperparámetros, se requiere más ajuste para obtener un buen modelo.

Depende de qué tipo de clasificación sea.

Si es una clasificación binaria:

  1. Exactitud
  2. Pérdida de registro
  3. Precisión para ambas clases.
  4. Retiro para ambas clases
  5. Puntaje F

Si es una clasificación de múltiples clases:

  1. Precisión macro
  2. Micro precisión para todas las clases
  3. Precisión
  4. Recordar
  5. Puntaje F

More Interesting

¿Es el análisis de sentimientos todo sobre lingüística?

¿Cuáles son las diferentes áreas donde los bancos pueden usar NLP (procesamiento del lenguaje natural) para mejorar las operaciones comerciales?

¿Qué elementos de los sistemas operativos generales de una organización deben ser compatibles y reforzarse mutuamente?

¿Cuál es la forma más sencilla de entender el equilibrio de sesgo-varianza en el aprendizaje automático?

¿Podría la IA volverse autónoma y aprender y adaptarse de manera no supervisada a través del aprendizaje profundo?

¿Cuáles son los pasos básicos del procesamiento de texto en el procesamiento del lenguaje natural para la similitud de texto?

¿Por qué Microsoft decidió usar bosques aleatorios en el Kinect?

¿Cuáles son los métodos actuales o estándar de combinación de datos estructurados y no estructurados en redes neuronales convolucionales?

Conciencia del contexto: ¿Qué es el descubrimiento de noticias anticipatorio?

¿Cuál es una variedad de problemas y problemas que pueden resolverse mediante la minería de datos y el aprendizaje automático? ¿Qué tipo de algoritmo se utiliza para qué tipo de problema?

¿Cuáles son los pros y los contras de los diversos algoritmos de clasificación de Tree Ensemble?

¿Qué modelo / algoritmo de ML utilizo?

¿Qué opinas de la exageración actual sobre Deep Learning?

¿Cómo funcionan los vectores de párrafo frente a codificadores automáticos variacionales?

¿Cómo detectar el sarcasmo en frases u oraciones mientras se extrae texto? ¿Hay alguna metodología utilizada?