¿Los métodos del núcleo siguen siendo relevantes hoy en día?

Los métodos de kernel son realmente geniales en los casos en que no tiene tantos datos (piense en menos de 100,000 muestras). Más allá de eso, los beneficios de la convexidad y de comprender la clase de función son un poco menos pronunciados. Dicho esto, se pueden usar como un módulo dentro de un gran conjunto de herramientas de aprendizaje automático, en particular siempre que se pueda eliminar la dependencia de calcular una matriz del núcleo. Algunos ejemplos

  • Pruebas estadísticas para dos muestras, independencia, distribuciones de probabilidad condicional.
  • Métodos espectrales no paramétricos
  • Números moderados de dimensiones, por ejemplo, cuando se manejan los algoritmos de exploración-explotación para el ajuste de parámetros (por ejemplo, Bayesian Bandits)

En general, puede pensar en muchas de las etapas de la red neuronal como una forma muy eficiente de extraer características significativas. Y no es demasiado sorprendente que las características de aprendizaje superen a las características de ingeniería, al menos una vez que tengamos suficientes datos para aprender las características. Es por eso que hoy en día todos usan las funciones de imagenet para el análisis de imágenes, incluso cuando el objetivo no es la clasificación inmediata.

El otro beneficio es que la convexidad promete resultados confiables, buenos tiempos de ejecución y algunas garantías. Esto los hace bastante deseables cuando es difícil controlar lo que el sistema hace de otra manera.

¡Son tan relevantes que el auge de Deep Learning ha llevado al auge de Deep Kernel Learning!
Aquí hay algunas diapositivas de introducción de J. Mairal en: http://lear.inrialpes.fr/people/