¿Cómo se relaciona el error cuadrático medio (RMSE) y la clasificación?

¡Tanto Shehroz Khan como Prashanth Ravindran dieron una buena respuesta! De hecho, RMSE es una métrica de error comúnmente utilizada para medir el rendimiento de los modelos de regresión.

Un ejemplo viene a la mente donde los dos conceptos, RMSE y clasificación, están (muy) distantemente relacionados: el clasificador Adaline (Adaptive Linear Neuron). De manera similar a la regresión lineal de OLS, utiliza una función de costo de “suma de errores al cuadrado” o “error al cuadrado medio” que el algoritmo intenta minimizar para aprender los pesos óptimos. Pero tenga en cuenta que esto se usa para la parte de optimización (convexa) y no para medir el “rendimiento del clasificador”. Para este último, estaría interesado en la precisión (o error), recuperación, precisión, área ROC debajo de la curva, etc.

No están relacionados
Además de la respuesta de Prashanth Ravindran, RMSE se usa en regresión. En la regresión, la variable predictora es un número real, por lo tanto, para medir la calidad del valor pronosticado de algún algoritmo X, necesita encontrar algún tipo de diferencia entre ellos. Para ello, calcula el cuadrado del error, toma la media de todos los objetos de prueba y toma la raíz cuadrada; esto te dará una ‘puntuación’ real que indica cierta confianza en lo bueno o malo que estás haciendo. Un RMSE pequeño significa una buena predicción y grande significa un mal modelo.

En la clasificación, tiene etiquetas de clase (finitas y contables), que no corresponden a números. Por lo tanto, no puede usar RMSE porque es difícil encontrar la diferencia entre, por ejemplo, la etiqueta ‘a’ y ‘b’. Por lo tanto, prueba otras medidas como precisión, media geométrica, precisión, recuperación, ROC, etc.

Mi opinión sobre esto es que definitivamente depende del tipo de clasificador. Si estamos tomando un clasificador binario, entonces RMSE parece tener sentido. No recomendaría usar RMSE como el único medio para comprender qué tan bien está clasificando su clasificador. Pero puede arrojar algo de luz.

RMSE generalmente le indica qué tan distante está su modelo de dar la respuesta correcta.

Entonces, en un clasificador binario, la raíz cuadrada de la media de la suma de todas las instancias (cada instancia será 1 / -1) donde su clasificador binario ha salido mal será un número en la escala de 0 a 1, que muestra qué tan bueno (más cerca de 1) o qué tan mal (más cerca de 0) está haciendo su clasificador.

Agregue comentarios sobre dónde podría estar equivocado / correcto.

El error cuadrático medio o RMSE es una medida de rendimiento. Se utiliza principalmente para problemas de regresión. Para la clasificación, la precisión de la clasificación es una medida más apropiada.