¿Por qué el núcleo RBF (función de base radial) se asigna al espacio dimensional infinito, mencionado muchas veces en las conferencias de aprendizaje automático?

Todavía no veo la respuesta que me gusta aquí, así que aquí va.

En todo momento, usaré [math] \ langle, \ rangle [/ math] y [math] \ | \ cdot \ | [/ math] para denotar el producto interno estándar y la norma en [math] \ mathbb {R} ^ n [/ matemáticas] respectivamente. Si digo [math] \ langle, \ rangle_ \ mathcal {H} [/ math] o [math] \ | \ cdot \ | _ \ mathcal {H} [/ math], me refiero al producto interno o norma en el Espacio de Hilbert [matemáticas] \ matemáticas {H}. [/ Matemáticas]

Entonces el núcleo RBF (o núcleo gaussiano o núcleo térmico estándar) se define por

[matemáticas] K: \ mathbb {R} ^ n \ times \ mathbb {R} ^ n \ to \ mathbb {R} [/ math]

[matemáticas] K (x, y) = e ^ {\ frac {- \ | xy \ | ^ 2} {2 \ sigma}} [/ matemáticas]

Así que ahora queremos el mapa de características: [math] \ Phi: \ mathbb {R} ^ n \ to \ mathcal {H}, [/ math] donde [math] \ mathcal {H} [/ math] es un espacio de Hilbert . [matemáticas] \ Phi [/ matemáticas] debe ser tal que

[matemáticas] K (x, y) = \ langle \ Phi (x), \ Phi (y) \ rangle_ \ mathcal {H} [/ math]

Deje que [math] L ^ 2 (\ mathbb {R} ^ n, d \ gamma_n) [/ math] sea el espacio de funciones cuadradas integrables de valor complejo en [math] \ mathbb {R} ^ n [/ math] con respeto a la medida gaussiana . En otras palabras, el conjunto de funciones [math] f: \ mathbb {R} ^ n \ to \ mathbb {C} [/ math] tal que

[matemáticas] \ frac {1} {\ sqrt {2 \ pi}} \ int _ {\ mathbb {R} ^ n} | f (t) | ^ 2 e ^ {- \ | t \ | ^ 2/2} dt [/ math]

es finito Tenga en cuenta que el producto interno en este espacio de Hilbert está dado por

[matemáticas] \ langle f, g \ rangle_ {L ^ 2 (\ mathbb {R} ^ n, d \ gamma_n)} = \ frac {1} {\ sqrt {2 \ pi}} \ int _ {\ mathbb {R } ^ n} \ overline {f (t)} g (t) e ^ {- \ | t \ | ^ 2/2} dt [/ math]

Ahora defina [math] \ Phi: \ mathbb {R} ^ n \ to L ^ 2 (\ mathbb {R} ^ n, d \ gamma_n) [/ math] por

[matemáticas] \ Phi (x) (t) = e ^ {i \ langle x, t \ rangle / \ sqrt {\ sigma}} [/ matemáticas]

No es difícil ver que [math] \ Phi (x) [/ math] es cuadrado integrable con respecto a la medida gaussiana ya que el módulo de [math] \ Phi (x) (t) [/ math] es siempre 1. De hecho, esto significa que [math] \ | \ Phi (x) \ | _ {L ^ 2 (\ mathbb {R} ^ n, d \ gamma_n)} = 1. [/ Math] Ahora verifiquemos que [math ] \ Phi [/ math] tiene la propiedad correcta descrita anteriormente.

[matemáticas] \ langle \ Phi (x), \ Phi (y) \ rangle_ {L ^ 2 (\ mathbb {R} ^ n, d \ gamma_n)} [/ math]

[matemáticas] = \ frac {1} {\ sqrt {2 \ pi}} \ int _ {\ mathbb {R} ^ n} \ overline {e ^ {i \ langle x, t \ rangle / \ sqrt {\ sigma} }} e ^ {i \ langle y, t \ rangle / \ sqrt {\ sigma}} e ^ {- \ | t \ | ^ 2/2} dt [/ math]

[matemáticas] = \ frac {1} {\ sqrt {2 \ pi}} \ int _ {\ mathbb {R} ^ n} e ^ {- i \ langle x, t \ rangle / \ sqrt {\ sigma}} e ^ {i \ langle y, t \ rangle / \ sqrt {\ sigma}} e ^ {- \ | t \ | ^ 2/2} dt [/ math]

[matemáticas] = \ frac {1} {\ sqrt {2 \ pi}} \ int _ {\ mathbb {R} ^ n} e ^ {i \ langle \ frac {(yx)} {\ sqrt {\ sigma}} , t \ rangle – \ | t \ | ^ 2} dt [/ math]

A partir de aquí, usamos una versión vectorizada de una manipulación elemental de “completar el cuadrado” en el exponente:

[matemáticas] – \ | t \ | ^ 2/2 + i \ langle \ frac {(y -x)} {\ sqrt {\ sigma}}, t \ rangle = – \ | t – i \ frac {(yx )} {2 \ sqrt {\ sigma}} \ | ^ 2/2 – \ | \ frac {(yx)} {2 \ sqrt {\ sigma}} \ | ^ 2/2 [/ math]

A partir de aquí tenemos la integral:

[matemáticas] \ frac {1} {\ sqrt {2 \ pi}} \ int _ {\ mathbb {R} ^ n} e ^ {- \ | t – i \ frac {(yx)} {2 \ sqrt {\ sigma}} \ | ^ 2/2} e ^ {- \ frac {\ | yx \ | ^ 2} {2 \ sigma}} dt [/ math]

Observe que el término [matemáticas] e ^ {- \ | \ frac {\ | yx \ | ^ 2} {2 \ sigma}} [/ matemáticas] no depende de [matemáticas] t [/ matemáticas] y así podemos simplemente sáquelo de la integral. Ahora nos quedamos con

[matemáticas] \ frac {1} {\ sqrt {2 \ pi}} \ int _ {\ mathbb {R} ^ n} e ^ {- \ | t – i \ frac {(yx)} {2 \ sqrt {\ sigma}} \ | ^ 2/2} dt [/ matemáticas]

que es igual a 1. Esto es difícil de ver de inmediato, pero uno puede usar un argumento sofisticado de análisis complejo para mostrar que

[matemáticas] \ frac {1} {\ sqrt {2 \ pi}} \ int _ {\ mathbb {R} ^ n} e ^ {- \ | t – i \ frac {(yx)} {2 \ sqrt {\ sigma}} \ | ^ 2/2} dt = \ frac {1} {\ sqrt {2 \ pi}} \ int _ {\ mathbb {R} ^ n} e ^ {- \ | t \ | ^ 2/2 } dt = 1. [/ math]

Considere el núcleo polinomial de grado 2 definido por, [matemática] k (x, y) = (x ^ Ty) ^ 2 [/ matemática] donde [matemática] x, y \ in \ mathbb {R} ^ 2 [/ matemática ] y [matemáticas] x = (x_1, x_2), y = (y_1, y_2) [/ matemáticas].

De este modo, la función del núcleo se puede escribir como,
[matemáticas] \ displaystyle k (x, y) = (x_1y_1 + x_2y_2) ^ 2 = x_ {1} ^ 2y_ {1} ^ 2 + 2x_1x_2y_1y_2 + x_ {2} ^ 2y_ {2} ^ 2 \ tag {1} [/mates]
Ahora, tratemos de llegar a un mapa de características [math] \ Phi [/ math] de modo que la función del núcleo se pueda escribir como [math] k (x, y) = \ Phi (x) ^ T \ Phi ( y) [/ matemáticas].

Considere el siguiente mapa de características, [math] \ Phi (x) = (x_1 ^ 2, \ sqrt {2} x_1x_2, x_2 ^ 2) [/ math]. Básicamente, este mapa de características está asignando los puntos en [math] \ mathbb {R} ^ 2 [/ math] a puntos en [math] \ mathbb {R} ^ 3 [/ math]. Además, tenga en cuenta que,

[matemáticas] \ Phi (x) ^ T \ Phi (y) = x_1 ^ 2y_1 ^ 2 + 2x_1x_2y_1y_2 + x_2 ^ 2y_2 ^ 2 \ tag {2} [/ matemáticas]

que es esencialmente nuestra función del núcleo.

Esto significa que nuestra función de kernel en realidad está calculando el producto interno / punto de puntos en [math] \ mathbb {R} ^ 3 [/ math]. Es decir, está mapeando implícitamente nuestros puntos de [math] \ mathbb {R} ^ 2 [/ math] a [math] \ mathbb {R} ^ 3 [/ math].

Pregunta de ejercicio : Si sus puntos están en [math] \ mathbb {R} ^ n [/ math], un núcleo polinomial de grado 2 lo mapeará implícitamente en algún espacio vectorial F. ¿Cuál es la dimensión de este espacio vectorial F? Sugerencia: Todo lo que hice arriba es una pista.

Ahora, llegando a RBF.

Consideremos nuevamente el núcleo RBF para los puntos en [math] \ mathbb {R} ^ 2 [/ math]. Entonces, el núcleo se puede escribir como
[matemáticas] k (x, y) = \ exp (- \ | x – y \ | ^ 2) [/ matemáticas]
[matemáticas] = \ exp (- (x_1 – y_1) ^ 2 – (x_2 – y_2) ^ 2) [/ matemáticas]
[matemáticas] = \ exp (- x_1 ^ 2 + 2x_1y_1 – y_1 ^ 2 – x_2 ^ 2 + 2x_2y_2 – y_2 ^ 2) [/ matemáticas]
[matemáticas] = \ exp (- \ | x \ | ^ 2) \ exp (- \ | y \ | ^ 2) \ exp (2x ^ Ty) [/ matemáticas]
(suponiendo gamma = 1). Usando la serie taylor puedes escribir esto como,
[matemáticas] \ displaystyle k (x, y) = \ exp (- \ | x \ | ^ 2) \ exp (- \ | y \ | ^ 2) \ sum_ {n = 0} ^ {\ infty} \ frac {(2x ^ Ty) ^ n} {n!} \ Tag {3} [/ math]
Ahora, si tuviéramos que crear un mapa de características [math] \ Phi [/ math] tal como lo hicimos para el núcleo polinomial, se daría cuenta de que el mapa de características mapearía cada punto en nuestro [math] \ mathbb {R } ^ 2 [/ math] a un vector infinito. Por lo tanto, RBF asigna implícitamente cada punto a un espacio dimensional infinito.

Pregunta de ejercicio : ¿Obtenga los primeros elementos vectoriales del mapa de características para RBF para el caso anterior?

Es la expansión de Taylor para e ^ x.
Chih-Jen Lin explica esta parte a través de un ejemplo de mapeo 1D a infinitoD usando RBF Kernel (25:00 – 31:00 en el video) que debilita MLSS 2006.

Conferencia en video: http://videolectures.net/mlss06t… (El orador Chih-jen Lin es uno de los principales desarrolladores de libsvm)
Las diapositivas para el mismo se pueden encontrar aquí: http://www.csie.ntu.edu.tw/~cjlin/talks/MLSS.pdf

Ver mi entrada de blog

http: //charlesmartin14.wordpress …