Marque mis palabras: no hay una sola métrica que lo ayude hasta que realice su prueba A / B dividida.
Está implementando su recomendación y seguramente tiene algunas métricas que desea observar, como el número de compras, los ingresos totales, los anuncios en los que se hizo clic, lo que sea. Lo único que le dirá si el recomendante es bueno o no es ver cómo cambian las métricas que le importan a medida que implementa diferentes recomendadores.
Es mi opinión que no hay forma de probar un sistema de recomendación porque son bestias muy diferentes en el ámbito del aprendizaje automático.
- Necesito datos de clientes bancarios para realizar análisis de riesgos. ¿Dónde puedo encontrar los datos?
- ¿Por qué LinkedIn separó a su equipo de ciencia de datos?
- ¿Cuál es la configuración recomendada para una aplicación de Big Data?
- ¿Qué nivel de habilidades SQL se necesitan para la ciencia de datos?
- ¿Cuáles son las oportunidades interesantes en la industria farmacéutica para emprendedores con experiencia en negocios, economía y ciencia de datos?
Considere, por ejemplo, las compras realizadas por sus usuarios, puede ocultar algunas de estas compras y usarlas para probar su algoritmo. Si un recomendante predice algo totalmente diferente a los elementos que escondió, entonces no tiene forma de saber si ese recomendante es bueno o malo, la única forma de saberlo sería ver si el usuario compra los elementos recomendados.
La cuestión es que un recomendante puede tener razón al recomendar algo que el usuario nunca compró porque esa es precisamente la idea de un sistema de recomendación, por lo que de alguna manera los recomendadores no se pueden probar dividiendo el conjunto de entrenamiento en trenes y conjuntos de prueba a menos que sepa que el tren set tiene TODOS los elementos que le gustaron al usuario y no hay nada fuera de esos elementos que le gusten al usuario. Y ese nunca es el caso.
¡Todas las métricas están mal o le devolvemos su dinero!
