Por lo que reuní mientras estaba allí, Amit Singhal, que dirige el equipo de clasificación central de Google, tiene un sesgo filosófico en contra del uso del aprendizaje automático en la clasificación de búsqueda. Mi comprensión por las dos razones principales detrás de esta filosofía es:
- En un sistema de aprendizaje automático, es difícil explicar y determinar por qué un resultado de búsqueda en particular ocupa un lugar más alto que otro resultado para una consulta determinada. La explicabilidad de una determinada decisión puede ser bastante difícil de alcanzar; La mayoría de los algoritmos de aprendizaje automático tienden a ser cuadros negros que, en el mejor de los casos, exponen pesos y modelos que solo pueden representar una imagen aproximada de por qué se tomó una determinada decisión.
- Incluso en situaciones en las que alguien logra identificar las señales que tienen en cuenta por qué un resultado se clasificó más alto que otro, es difícil ajustar directamente un sistema basado en el aprendizaje automático para aumentar la importancia de ciertas señales sobre otras en contextos aislados. Las señales y características que se alimentan en un sistema de aprendizaje automático tienden a afectar indirectamente la salida a través de capas de pesos, y esta falta de control directo significa que incluso si un humano puede explicar por qué una página web es mejor que otra para una consulta determinada, Puede ser difícil integrar esa intuición humana en un sistema basado en el aprendizaje automático.
Las métricas de puntuación basadas en reglas, aunque aún son complejas, brindan una mayor oportunidad para que los ingenieros ajusten directamente los pesos en situaciones específicas. Por el dominio de Google en la búsqueda web, está bastante claro que la decisión de optimizar la explicación y el control sobre las clasificaciones de resultados de búsqueda ha sido exitosa al permitir que el equipo itere y mejore rápidamente la calidad de la clasificación de búsqueda. El equipo lanzó 450 mejoras en 2008 [1], y es probable que el número solo crezca con el tiempo.
La clasificación de los anuncios, por otro lado, tiende a ser mucho más un problema de optimización donde la calidad de dos anuncios es mucho más difícil de comparar e intuir que los resultados de dos páginas web. Mientras que las páginas web son bastante distintivas y pueden ser comparadas y evaluadas por evaluadores humanos en función de su relevancia y calidad para una consulta determinada [2], los anuncios cortos de tres o cuatro líneas que aparecen en la búsqueda web se parecen bastante a los humanos. Puede ser fácil para un humano identificar un anuncio obviamente terrible, pero es difícil comparar dos razonables:
- ¿Qué es la selección de variables en bloques cuando se hace un análisis de regresión?
- ¿Qué hay de nuevo con Wasserstein GAN?
- ¿Qué es la regresión de cresta?
- ¿Qué tan importante es la optimización de hiperparámetros en los modelos gráficos bayesianos, como la asignación de Dirichlet latente?
- ¿Podemos aplicar tanto la selección de características como la reducción de dimensionalidad?
Las diferencias de marca, las señales textuales sutiles y los rasgos de comportamiento del usuario, que son difíciles de intuir para los humanos pero fáciles de identificar para las máquinas, se vuelven mucho más importantes. Además, diferentes anunciantes tienen diferentes presupuestos y diferentes ofertas, lo que hace que la clasificación de anuncios sea más un problema de optimización de ingresos que simplemente un problema de optimización de calidad. Debido a que los humanos son menos capaces de comprender la decisión detrás de una decisión de clasificación de anuncios que puede funcionar bien empíricamente, la explicabilidad y el control, que son importantes para la clasificación de búsqueda, se vuelven comparativamente menos útiles en la clasificación de anuncios, y el aprendizaje automático se convierte en una opción mucho más viable .
——–
[1] http://googleblog.blogspot.com/2…
[2] http://googleblog.blogspot.com/2…
