¿Qué núcleo (para los métodos de núcleo en el aprendizaje automático) es menos sensible a la alta dimensión: cauchy, gaussiana o laplaciana?

Recuerde la formulación de estos tres granos:

  • Gaussiano [matemáticas] K (x, y) = exp (- \ frac {|| xy || ^ 2} {2 \ sigma ^ 2}) [/ matemáticas]
  • Laplaciano [matemática] K (x, y) = exp (- \ beta | xy |) [/ matemática]
  • Cauchy [matemáticas] K (x, y) = \ frac {1} {1+ \ frac {|| xy || ^ 2} {\ sigma}} [/ matemáticas]

Dado que los tres usan el llamado truco del núcleo, no se calcula la asignación de características real y solo la asignación de características implícita (es decir, [matemática] K (x, y) = \ Phi (x) ^ T * \ Phi (x) [/ matemática ] se calcula.

Entonces, en mi humilde opinión, son inmunes al problema de la alta dimensionalidad de su conjunto de datos (si se refiere a la dimensión en cuanto al número de características en su conjunto de datos). En otras palabras, estos tres núcleos son insensibles a la alta dimensión de las “características”.

Dicho esto, la matriz de su núcleo será grande si el número de observación es grande (ya que el tamaño de su núcleo es #obsns por #obsns).