¿Cuáles son algunas de las ventajas de usar modelos de proceso gaussianos frente a SVM?

Puedo pensar en las siguientes ventajas prácticas:

  • Cuando utiliza GP, los hiperparámetros del núcleo (escala de longitud, nivel de ruido, etc.) se pueden aprender a través de la maximización de la evidencia. Con SVM, este es un gran problema, y ​​aún no se resuelve de manera convincente
  • Los médicos de cabecera proporcionan predicción probabilística completa y una estimación de la incertidumbre en la predicción. Esto puede ser útil en algunas situaciones.
  • Los SVM a menudo son propensos a conjuntos de datos de clasificación imparciales (por ejemplo, cuando tiene muchos más ejemplos positivos que negativos), los médicos de cabecera generalmente no sufren este problema
  • Los médicos de cabecera se pueden ampliar e incorporar fácilmente en el modelo jerárquico bayesiano

Por supuesto, los SVM también tienen sus ventajas. En particular, los SVM se ven menos afectados que los GP por el ruido de etiqueta no estructurado (cuando se voltea aleatoriamente un porcentaje de etiquetas), aunque este problema también se puede superar modificando la probabilidad en los modelos GP.

Como Matt Gershoff, también sugiero leer “Procesos gaussianos para el aprendizaje automático” por Rasmussen y Williams. Es un gran libro y está disponible de forma gratuita en línea: http://www.gaussianprocess.org/gpml

Además de las excelentes ideas de Ferenc Huszar, otros dos puntos mencionados aquí:

http://mlss2011.comp.nus.edu.sg/

son:

(1) Si desea incluir la regularización, ese es otro parámetro que tendrá que ajustar aparte de los hiperparámetros del núcleo

(2) Selección de funciones de soporte de GP intrínsecamente a través de la determinación automática de relevancia.

El Proceso Gaussiano le dará la estimación de la varianza predictiva alrededor de su predicción, además de tener una clara interpretación probabilística. Eche un vistazo al libro de Chris Williams y Carl Rasmussen sobre el Proceso Gaussiano para ver la opinión del experto real: consulte el capítulo 6 específicamente
http://www.gaussianprocess.org/g