La calificación de elementos de usuario es todo lo que necesita para evaluar un sistema de recomendación. Sin embargo, podría hacer estudios de usuario adicionales basados en el propósito de su sistema (investigación versus producción).
Consideremos un algoritmo típico basado en la factorización de matriz para resolver el problema de su sistema de recomendación. El algoritmo está tratando de predecir la calificación en el conjunto de prueba minimizando algún agregado de las diferencias entre su predicción y la calificación real (error). Por ejemplo, Root Mean Square Error.
Si el resultado es una recomendación de artículos de primer orden para un usuario, similar a una evaluación de clasificación, normalmente calcula las siguientes métricas:
[correo electrónico protegido] 1 y hasta el rango ‘n’ que desee; Precisión media promediada (MAP): es decir, la precisión en varios valores de recuperación se promedia para cada usuario y luego se calcula la media de esos promedios para generar un único valor real.
- ¿Dónde estará (o podría) estar el Aprendizaje Profundo si la Ley de Moore continúa por otros 10-20 años?
- Debido a que este será el tema de un panel en el Instituto de Verano NBER, ¿qué puede aprender la economía de Data Science y / o Machine Learning, y qué puntos sobre este tema le gustaría ver incluidos?
- ¿Cuáles son algunos de los conjuntos de habilidades esenciales que debe tener un desarrollador de aprendizaje automático?
- ¿Cómo comienza un principiante a aprender el aprendizaje automático?
- ¿Qué matemáticas se necesitan para este curso de aprendizaje automático?
Más allá de esto, como mencioné antes, puede exponer su sistema de recomendación a usuarios reales y hacer un estudio de usuarios. Si tiene una gran base de usuarios en un sistema de recomendación de escala empresarial (piense en Facebook, Twitter, YouTube, Spotify y similares), puede hacer que el usuario estudie como una prueba A / B. Esto suele ser muy efectivo y revelador.
