RankNet, LambdaRank y LambdaMART son todos lo que llamamos algoritmos de Aprendizaje para clasificar.
¿Qué es aprender a clasificar?
Aprender a clasificar (LTR) es una clase de técnicas que aplican el aprendizaje automático supervisado (ML) para resolver problemas de clasificación . La principal diferencia entre LTR y ML supervisado tradicional es esta:
- ¿Cómo le explicarías P vs. NP a un niño?
- ¿Cuáles son las diferencias entre subprocesos y subprocesos múltiples?
- ¿Cuánto tiempo llevará desarrollar un sitio como eBay con Django y Python?
- ¿Cuál es la reputación de MS (CS) con la especialización de Cloud Computing de Texas Tech, Universidad de Lubbock en el mercado laboral de EE. UU. Ahora? ¿Qué área de investigación en computación en la nube tiene una gran demanda desde una perspectiva laboral en el mercado estadounidense de hoy?
- ¿Qué teclas de acceso directo se utilizan para minimizar y maximizar la ventana actual?
- ML tradicional resuelve un problema de predicción (clasificación o regresión) en una sola instancia a la vez. Por ejemplo, si está haciendo detección de spam en el correo electrónico, verá todas las características asociadas con ese correo electrónico y lo clasificará como spam o no. El objetivo del ML tradicional es crear una clase (spam o no spam) o una puntuación numérica única para esa instancia.
- LTR resuelve un problema de clasificación en una lista de elementos. El objetivo de LTR es llegar a un ordenamiento óptimo de esos artículos. Como tal, LTR no se preocupa mucho por el puntaje exacto que obtiene cada elemento, pero se preocupa más por el orden relativo entre todos los elementos.
La aplicación más común de LTR es la clasificación de motores de búsqueda, pero es útil en cualquier lugar donde necesite producir una lista clasificada de elementos.
Los datos de entrenamiento para un modelo LTR consisten en una lista de ítems y un puntaje de “verdad fundamental” para cada uno de esos ítems. Para el ranking del motor de búsqueda, esto se traduce en una lista de resultados para una consulta y una calificación de relevancia para cada uno de esos resultados con respecto a la consulta. La forma más común utilizada por los principales motores de búsqueda para generar estas clasificaciones de relevancia es pedir a los evaluadores humanos que califiquen los resultados para un conjunto de consultas. En caso de que esté interesado, he escrito en detalle sobre los sistemas de calificación humana aquí: la respuesta de Nikhil Dandekar a ¿Cómo mide Google la calidad de sus resultados de búsqueda?
Para obtener una explicación más técnica de Learning to Rank, consulte este documento de Microsoft Research: una breve introducción a Learning to Rank
¿Qué es RankNet, LambdaRank y LambdaMART ?
RankNet, LambdaRank y LambdaMART son algoritmos LTR desarrollados por Chris Burges y sus colegas de Microsoft Research. RankNet fue el primero en ser desarrollado, seguido por LambdaRank y luego LambdaMART.
En las tres técnicas, la clasificación se transforma en una clasificación por pares o un problema de regresión . Eso significa que observa pares de elementos a la vez, obtiene el orden óptimo para ese par de elementos y luego lo utiliza para llegar a la clasificación final de todos los resultados.
Aquí hay algunos detalles de alto nivel para cada uno de los algoritmos:
RankNet [1]
RankNet se desarrolló originalmente utilizando redes neuronales, pero el modelo subyacente puede ser diferente y no está limitado a solo redes neuronales. La función de costo para RankNet tiene como objetivo minimizar el número de inversiones en la clasificación. Aquí una inversión significa un orden incorrecto entre un par de resultados, es decir, cuando clasificamos un resultado con una calificación más baja por encima de un resultado con una calificación más alta en una lista clasificada. RankNet optimiza la función de costo utilizando el Descenso de gradiente estocástico.
LambdaRank [2]
Burgess et. Alabama. descubrió que durante el procedimiento de capacitación de RankNet, no necesita los costos, solo necesita los gradientes ([matemáticas] \ lambda [/ matemáticas] [matemáticas]) [/ matemáticas] del costo con respecto al puntaje del modelo. Puede pensar en estos gradientes como pequeñas flechas adjuntas a cada documento en la lista clasificada, indicando la dirección en que nos gustaría que se muevan esos documentos.
Además, descubrieron que escalar los gradientes por el cambio en NDCG encontrado al intercambiar cada par de documentos dio buenos resultados. La idea central de LambdaRank es utilizar esta nueva función de costos para entrenar a un RankNet. En conjuntos de datos experimentales, esto muestra mejoras de velocidad y precisión sobre el RankNet original.
LambdaMART [3]
LambdaMART combina LambdaRank y MART (árboles de regresión de aditivos múltiples). Mientras que MART usa árboles de decisión con gradiente incrementado para las tareas de predicción, LambdaMART usa árboles de decisión con gradiente incrementado usando una función de costo derivada de LambdaRank para resolver una tarea de clasificación. En conjuntos de datos experimentales, LambdaMART ha mostrado mejores resultados que LambdaRank y el RankNet original.
Si está interesado, Chris Burges tiene un solo documento que detalla la evolución de RankNet a LambdaRank a LambdaMART aquí: De RankNet a LambdaRank a LambdaMART: una descripción general
Notas al pie
[1] Página en microsoft.com
[2] Página en microsoft.com
[3] Página en microsoft.com
