Hay dos opciones para evaluar o validar su sistema de recomendación.
- Validación fuera de línea: luego tiene algunos datos históricos del usuario y realiza una división estándar de prueba de entrenamiento de aprendizaje automático para aprender un modelo y evaluarlo. Selecciona una función de evaluación (RMSE, RMSE ponderado, BPR, MAE, MRR, NDCG, etc.); Lo ideal es que su alumno optimice para la misma función. No puede hacer este tipo de evaluación sin datos de interacción.
- Validación en línea: crea su modelo de recomendación basado en información heurística, tomada de otros dominios (consulte también el sistema de recomendación entre dominios), etc., y lo prueba en vivo en sus usuarios. Entonces, la métrica de evaluación suele ser diferente de las que se usan típicamente fuera de línea, CTR, conversión (dependiente del dominio) o GMV (volumen bruto de mercancía generado por la recomendación). Luego puede decidir si su enfoque es lo suficientemente bueno si puede comparar los resultados obtenidos con un método de referencia en una prueba A / B (preferida), o con métricas anteriores de la aplicación (no preferida porque los resultados pueden verse afectados por muchos factores, por ejemplo, estacionalidad).
Si no tiene acceso a algún sistema en vivo, le sugiero que busque un conjunto de datos que se ajuste más o menos a su objetivo de validación y realice pruebas fuera de línea en él.
- ¿Cuáles son algunos problemas de aprendizaje automático que están más allá del poder de scikit-learn para resolver?
- Cómo crear algoritmos de reconocimiento facial
- ¿Cuál es la diferencia entre una red neuronal y una red de codificador automático?
- ¿Por qué es importante la eliminación de variables en los modelos gráficos probabilísticos?
- Andrew Ng: ¿Qué opinas sobre la memoria?
