Estoy tratando de evaluar el rendimiento del modelo (regresión). En la literatura, algunos usan RMSE y otros usan correlación. ¿Hay alguna diferencia entre ambos enfoques?

Tengo una respuesta en otro foro. Pensé que sería útil para otros:

“El valor RMSE depende del rango de valores, ya que es una medida de error.
Por ejemplo, si está tratando de predecir la cantidad de tiempo que un proceso de computadora tomará su error, es probable que sea en minutos o segundos (o menos). Alternativamente, si está intentando predecir la cantidad de tiempo que llevará construir una casa, puede llevar días o semanas.

Ser incorrecto por una hora es un gran error en el primer ejemplo, pero es casi insignificante en el segundo ejemplo. Entonces, un RMSE de treinta segundos para un proceso de computadora podría significar lo mismo que un RMSE de 12 horas para construir una casa. Por lo tanto, realmente no se puede usar para comparar modelos que predicen valores diferentes, solo modelos que predicen lo mismo.

En cuanto a su otra pregunta, cuando RMSE está disminuyendo, significa que algún error en la predicción del modelo está disminuyendo. Este es un problema menor de correlación, ya que se trata de precisión. En otras palabras, cuando dices que la casa X tomará Y días para construir, ¿qué tan cerca de los días Y tarda en promedio?

Por supuesto, es un poco diferente al simple error absoluto, ya que el acto de cuadrar los errores antes de promediarlos puede amplificar el impacto de errores más grandes (el error de 4 se convierte en 16). Si su problema es puramente de correlación, se puede calcular el cálculo de Pearson entre las predicciones del modelo y los valores reales, si lo desea ”

More Interesting

¿Cuál es la diferencia de enfoque para resolver un desafío de Kaggle y trabajar en un problema de investigación de LA bien definido?

Cómo usar el codificador automático de Geoffrey Hinton para datos MNIST para clasificar dígitos

Cómo manejar una imagen de diferentes tamaños en una red convolucional de MatConvNet con un contenedor DagNN

¿Cuál es la diferencia entre D3M y el aprendizaje profundo?

¿Qué opinas de la exageración actual sobre Deep Learning?

¿Cuánto cuesta una máquina de crioterapia?

En Tensorflow: ¿qué tipo de red neuronal debo usar?

Hay muchas distribuciones de probabilidad presentes en las estadísticas, ¿cómo debería uno usarlas? En general, veo personas que usan distribución gaussiana en algoritmos de aprendizaje automático.

¿Cuál es una forma intuitiva de explicar los resultados de la PCA?

¿Qué parámetros en los datos de entrenamiento / prueba deben considerarse para decidir la elección de un método de clasificación de aprendizaje automático (fuera de SVM, red neuronal, regresión logística, etc.)?

¿Cómo se pueden usar las redes neuronales recurrentes para predecir el género a partir de los nombres de pila?

¿Por qué necesitamos barajar entradas para el descenso de gradiente estocástico?

¿Existe alguna directriz para diseñar redes neuronales en términos de número de capas ocultas, número de unidades ocultas, tamaño de filtro (CNN) y paso de tiempo (RNN)?

¿Cómo funcionan las capas de incrustación en TensorFlow?

¿Qué es una regresión logística condicional?