¿Qué técnicas son buenas para suavizar los clics de las consultas de cola larga en los motores de búsqueda?

Una distribución beta-binomial es una buena manera de suavizar los clics.

Definamos algunos términos:
V: número de veces que se ve el artículo
C: número de veces que se hace clic en el elemento
P (C | V): la probabilidad real subyacente de que un usuario haga clic en el elemento
P ‘: su estimación de P (C | V), dados los datos que tiene, que pueden ser escasos y ruidosos.

Si un elemento se ve V veces, entonces el número de clics seguirá la distribución binomial; puede pensar en cada vista como un “lanzamiento de moneda” ponderado donde el usuario hace clic (caras) o no (colas). Dado que cada elemento tiene una probabilidad subyacente diferente de hacer clic en él, también puede pensar en P (C | V) como extraído de una distribución. Elegiremos la distribución beta beta (A, B) ya que la beta es lo que se conoce como el “conjugado anterior” del binomio. No profundizaré aquí sobre lo que eso significa, pero el siguiente enlace lo explica y deriva una fórmula para suavizar.

Esa fórmula final es solo:
P ‘= (C + A) / (V + A + B) # A y B son los parámetros de la distribución beta

Una interpretación es que está agregando clics A “fantasma” y vistas A “B” fantasma “a cada elemento en su conjunto de datos, lo que tiene el efecto de suavizarlo. La mayoría de las personas probablemente solo comienzan con una conjetura y van desde allí.

Para obtener más información, consulte http://www.cs.cmu.edu/~10701/lec….

Agregando a la respuesta de Brandon Ballinger:

Sí, debe inicializar A y B por intuición, y ver si primero va a algún lado.

Luego, puede intentar aprender A y B de los datos. Creo que el problema que está resolviendo es que algunos pares de consulta – resultado simplemente no tienen suficientes vistas para estimar el CTR correcto. Pero consulta similar – los pares de resultados pueden. Por ejemplo, “aprendizaje automático” no sería una consulta de cola, pero sería “mchin larning”. Por lo tanto, realice sus consultas y ajuste un modelo para aprender A y B de las consultas principales. Si lo ha hecho “correctamente”, el conocimiento se compartirá entre las consultas.

La ‘fórmula de credibilidad’: Internet Movie Database

More Interesting

¿Cómo agrupamos el comportamiento de navegación de usuarios similares y seleccionamos características separables?

¿Cuándo es un bosque aleatorio una mala elección en relación con otros algoritmos?

Cómo planear mover mi carrera hacia el aprendizaje automático en India

Al entrenar a un clasificador, ¿cómo trato con clases que tienen números muy diferentes de muestras en el conjunto de entrenamiento? ¿Cómo evito un ajuste excesivo en la clase que tiene la mayor cantidad de muestras?

¿Las startups prefieren alojar o licenciar software de aprendizaje automático?

¿Cuál es un ejemplo de un sistema, proceso o actividad que no puede ser modelado por un proceso de decisión de Markov?

¿Tiene sentido usar la selección de características antes de Random Forest?

¿Apache Spark es un buen marco para implementar Reinforcement Learning?

¿Debería estudiar aprendizaje automático, aprendizaje profundo o aprendizaje de refuerzo?

¿Cuáles son los conjuntos de datos beneficiosos para el análisis de sentimientos de Twitter como proyecto de análisis de datos?

¿Cuáles son los consejos para aprender el aprendizaje automático?

¿Qué es una explicación intuitiva de lo que es la dimensión VC?

¿Cuál es la diferencia (o relación) entre el aprendizaje profundo y un sistema inteligente?

¿Qué es mejor para mí como estudiante? ¿Debería codificar los modelos de aprendizaje automático (donde pueda) o debería usar la biblioteca tanto como pueda?

¿Por qué TF (frecuencia de término) a veces da mejores puntuaciones F que TF-IDF para la clasificación de texto?