Cómo evaluar los sistemas de recomendación de calificación unaria

Cuando no tiene una calificación explícita, entonces se trata de datos implícitos. En estos casos, las métricas basadas en la precisión no funcionarán ni tendrán sentido. En cambio, debe mirar las métricas de clasificación, que lo ayudarán a responder la pregunta: ¿qué tan bien funciona mi sistema de recomendación para clasificar los artículos que los usuarios eventualmente compran?

En términos más generales, existe una creciente literatura sobre sistemas de recomendación que utilizan datos implícitos. Consulte los resultados en Google Scholar, que es un lugar tan bueno como cualquier otro para comenzar.

Debe utilizar el método científico básico de medición.

Con los sistemas de recomendación, debe dividir el conjunto de datos en conjunto de aprendizaje, conjunto de prueba (si es necesario) y un conjunto de validación. El conjunto de aprendizaje es un conjunto que usted ingresa al recomendador, algunos recomiendan el conjunto de prueba para la calibración. Luego, introduce el conjunto de validación al recomendador y, al utilizar algún tipo de heurística, mide qué tan bien lo hace el recomendante.

Por ejemplo, si su recomendante genera una lista de recomendaciones, puede hacer coincidir esa lista con las compras reales del conjunto de validación y clasificar cada recomendador de acuerdo con la cantidad de coincidencias que obtuvieron.