¿Cómo puedo medir la precisión de un sistema de recomendación?

Si el sistema de recomendación está evaluando elementos en una escala de calificación (es decir, de 1 a 5 estrellas), la precisión de un sistema de recomendación se puede medir con métricas de evaluación de error de regresión. Cuanto más bajo es el error, más preciso es el sistema. Las métricas comunes de evaluación de errores son Error absoluto medio (MAE), Error cuadrado medio (MSE) y Error cuadrado medio raíz (RMSE). Necesitará un conjunto de datos con clasificaciones verdaderas para evaluar la precisión con MAE, MSE o RMSE.

Error absoluto medio (MAE)

[matemáticas] MAE = \ frac {\ sum_ {calificaciones} | PR |} {\ # calificaciones} [/ matemáticas]

Para MAE, estamos midiendo la divergencia absoluta promedio de la calificación pronosticada (P) y la calificación verdadera (R). El error absoluto no penaliza la calificación pronosticada en ninguna dirección, por lo que una predicción de 4 estrellas o 2 estrellas con una calificación verdadera de 3 estrellas se pondera por igual. MAE es un puntaje lineal donde las diferencias individuales se ponderan igualmente en promedio, por lo tanto, MAE es más robusto para los valores atípicos que MSE.

Error Cuadrático Medio (MSE)

[matemáticas] MSE = \ frac {\ sum_ {calificaciones} \ left (PR \ right) ^ 2} {\ # ratings} [/ math]

Para MSE, estamos midiendo la divergencia cuadrática promedio de la calificación pronosticada (P) y la calificación verdadera (R). MSE pone más peso en penalizar errores más grandes, por lo que una predicción de 5 estrellas con una calificación real de 3 estrellas se penaliza 4 veces más que una predicción de 4 estrellas con una calificación verdadera de 3 estrellas. MSE es más útil cuando los errores grandes no son deseables.

Error cuadrático medio raíz (RMSE)

[math] RMSE = \ sqrt {\ frac {\ sum_ {ratings} \ left (PR \ right) ^ 2} {\ # ratings}} [/ math]

Para RMSE, estamos midiendo la raíz cuadrada de MSE. Al colocar una raíz cuadrada alrededor de MSE, podemos interpretar el RMSE en unidades en la misma escala de la medida original en lugar de una escala cuadrada.

Ahora, si el sistema de recomendación está evaluando elementos implícitamente (es decir, el artículo visto o comprado por el usuario), la precisión probablemente no sea la mejor opción para evaluar el sistema de recomendación. Tomas Rehorek de Recombee tiene una buena crítica sobre esto. Con los recomendadores implícitos, la efectividad de las recomendaciones principales de salida se evalúa con métricas como la precisión media promedio (MAP), la ganancia acumulada normalizada con descuento (NDCG) y otras métricas como:

• Diversidad: ¿qué tan diferentes son las recomendaciones?
• Cobertura: ¿qué porcentaje del espacio de elementos de usuario se puede recomendar?
• Serendipia: ¿qué tan sorprendentes son las recomendaciones relevantes?
• Novedad – ¿Qué tan sorprendentes son las recomendaciones en general?
• Relevancia: ¿Qué tan relevantes son las recomendaciones?