¿Hay alguna conexión entre el aprendizaje de kernel múltiple (MLK) y el aprendizaje profundo?

* A2A *

Supongo que están relacionados, pero no he encontrado ningún trabajo que lo explique. Si tengo que conjeturar, mi reclamo sería que: el aprendizaje de múltiples núcleos (MKL) es una instancia específica de aprendizaje profundo (DL).

Deje que [math] \ phi_i (x) [/ math] sea la representación de característica implícita asociada con el kernel [math] K_i [/ ​​math]. Entonces, una versión de MKL que involucra la siguiente parametrización [math] \ displaystyle \ sum_ {i = 1} ^ N w_iK_i [/ ​​math] daría la representación implícita de características [math] \ displaystyle \ oplus_ {i = 1} ^ N \ sqrt {w_i} \ phi_i (x) [/ math] donde [math] \ oplus [/ math] indica concatenación. Entonces, cuando aprendemos los pesos en el MKL, estamos aprendiendo implícitamente una representación de características que funciona mejor para nuestro problema. Sin embargo, las representaciones aprendidas como puede ver son bastante restrictivas, es decir, estamos atascados con la representación implícita de los núcleos y todo lo que podemos hacer es simplemente ponderar estas representaciones antes de concatenarlas. DL, por otro lado, parece estar menos limitado.

Sabemos que la representación implícita en Kernel Learning (KL) surge del producto interno utilizado para medir la similitud. En muchos sentidos, el aprendizaje profundo funciona con principios similares. Si dos entradas x e y producen activaciones “similares”, es probable que obtengan etiquetas similares. Ha habido varios experimentos en los que las personas aprendieron un codificador automático y luego usaron kNN para clasificar con muy buenos resultados. Ahora, si aplicamos ingeniería inversa a esta idea, podemos pensar que, para que dos instancias obtengan etiquetas similares, necesitan producir activaciones similares. Entonces, uno puede imaginar que las representaciones aprendidas por DL ​​también surgen de la noción de similitud de entradas. Sin embargo, los métodos descubiertos para engañar a las redes neuronales [1] parecen sugerirme que esta noción de similitud puede ser mucho más fuerte y difícil de manejar que el simple producto interno utilizado en Kernels. De hecho, en DL, podríamos estar aprendiendo la función de similitud junto con la representación. Tenga en cuenta que, lo mismo es cierto incluso en MKL porque junto con la representación, también estamos aprendiendo una función ponderada del producto interno. En eso, el aprendizaje de representación y la función de similitud están algo entrelazados.

Entonces, tanto MKL como DL están interesados ​​en aprender una representación de características. Parecen tener un comportamiento similar (en cómo aprende las representaciones) y MKL parece bastante más simple que DL. Por lo tanto, mi conjetura antes. Como puede suponer por ahora, que realmente no he mostrado ninguna conexión explícita entre MKL y DL y gran parte de lo que he escrito son mis propias reflexiones sobre este tema. Por eso, mi conjetura sigue siendo una conjetura 🙂

[1] Romper clasificadores lineales en ImageNet