¿Por qué algunos sistemas de recomendación, como Netflix, dejan de funcionar con demasiadas calificaciones?

Puedo imaginar dos explicaciones probables. No tengo información particular de que estos sean correctos, solo adivinan por qué algunos sistemas como los que mencionas podrían tener ese comportamiento. En cualquier caso, el comportamiento que ves no es deseable (y nunca lo he visto yo mismo).

  1. A tal escala, estos sistemas de recomendación son necesariamente cálculos orientados a lotes, no completamente en tiempo real. Pueden incorporar nueva información, de forma imperfecta, sobre la marcha, pero las recomendaciones se vuelven a calcular “realmente” cada pocas horas o cada noche o algo así. Por lo tanto, tiene una lista de 20 recomendaciones probables ahora. Subes y calificas los 20 como útiles. No tiene nada más que no haya calificado para recomendar en este momento.
  2. Tienen un valor de corte de calidad para las recomendaciones. Si la siguiente mejor recomendación no es de cierta calidad, entonces no recomendará nada. Y con algunos algoritmos, para un usuario que tiene gustos grandes y amplios, quizás algunos artículos se destaquen como recomendaciones particularmente buenas.

Su pregunta es un poco vaga (se refiere tanto a Amazon como a Netflix por sufrir esto), pero sabiendo un poco sobre cómo Amazon hace sus grabaciones, creo que realmente se está refiriendo a Netflix aquí y no a Amazon. Supongo que con Netflix es que a veces se está agotando el tiempo de la llamada de servicio para devolver grabaciones. Imagínese si tiene decenas de miles de calificaciones y un servicio está mal diseñado. La clasificación / desorganización de los datos por sí sola podría tomar segundos, lo que resultaría en un tiempo de espera. Si desea aprender cómo funcionan las grabaciones de Amazon, únase a mi equipo de Plataforma de personalización en Amazon. Estamos contratando: [correo electrónico protegido]

Un sistema de recomendación mal construido terminará siendo demasiado objetivo ya que seguirán enfocando y se sobreentrenarán. Esto es muy similar a los posibles efectos secundarios con el aprendizaje automático.

Después de haber iniciado una empresa en torno a un sistema de recomendación, conozco el problema y también algunas formas de solucionarlo. Sin embargo, su pregunta es sobre cómo sucede esto, así que no entraré en detalles técnicos.

Cualquier motor de recomendación aprenderá de sus acciones, uno mal diseñado seguirá fortaleciendo su perfil hasta que piensen que solo está interesado en un tema muy limitado en el que no tienen nada que recomendar que no haya comprado o visto.

Este problema en particular es, o al menos debería ser bien conocido, y también hay formas conocidas de resolverlo, y el hecho de que esté viendo esto en Amazon y Netflix es realmente sorprendente, pero la respuesta aún debe ser que se sobreentrenan. Estoy seguro de que ambas compañías invierten muchos recursos para evitar esto, así que creo que estarían felices de recibir sus comentarios directamente.

More Interesting

¿Cómo puede alguien usar el verano para hacer un gran progreso en su conocimiento en los campos de redes neuronales artificiales y aprendizaje profundo?

¿Cuáles son los pensamientos de Yoshua Bengio sobre los modelos gráficos probabilísticos?

¿Cuáles son las diez mejores universidades del Reino Unido para obtener un doctorado en inteligencia artificial o aprendizaje automático?

¿Cuándo es un bosque aleatorio una mala elección en relación con otros algoritmos?

¿Cuánto tiempo tomará aprender Python para que pueda aprender el aprendizaje automático?

Dado que los modelos pueden ser entrenados en datos sintéticos, ¿podemos usar el Entrenamiento Adversario para hacer que las imágenes de prueba sean más sintéticas?

¿Cuáles son algunas ideas interesantes para un proyecto de investigación en procesamiento de lenguaje natural y / o traducción automática?

Si IBM introduce el aprendizaje automático en z / OS, ¿qué significará eso para un desarrollador de mainframe?

¿Me puede recomendar algunos buenos libros, blogs, artículos y documentos dedicados a conjuntos de modelos y especialmente apilamiento de modelos, también conocidos como conjuntos de modelos híbridos?

¿Las redes RBM (máquina de Boltzman restringida) suelen tener el mismo número de nodos por capa?

¿Qué tipo de servicio suele ofrecer el inicio del procesamiento del lenguaje natural?

¿Cuáles son los dominios en los que las técnicas de aprendizaje profundo podrían aplicarse además del procesamiento de la visión por computadora y el lenguaje / habla?

¿El aprendizaje automático va a derrocar al sistema dinámico?

¿Cuál es el propósito del análisis de regresión?

¿Cuál es la función de las máquinas restringidas de Boltzmann para el filtrado colaborativo?