¿Por qué la pila de RBM después de aprender no es una máquina de Boltzmann profunda (DBM)?

De acuerdo con el documento de Deep Belief Network, una máquina de Boltzmann restringida (RBM) es una pila infinita de redes de creencias sigmoideas con peso compartido. Puede comprender este concepto comparando el proceso de muestreo de Gibbs de un RBM con el proceso de muestreo de Gibbs de redes de creencias desenrolladas.

Por ejemplo, piense en qué es una muestra de Gibbs. El muestreo de Gibbs es una forma de método de muestreo que genera muestras con la distribución deseada después de un cierto número de pasos de quemado (velocidad de mezcla), que depende principalmente de la forma de la distribución objetivo. Entonces, al observar el muestreo de Gibbs bloqueado en dos pasos para RBM, encontrará que p (h | v) = sigmoide (Wv + a), p (v | h) = sigmoide (W’h + b). Al igualar el muestreo p (h | v) y p (v | h) indefinidamente, obtendrá muestras de las distribuciones objetivo p (v, h), en este caso esta será la distribución de la RBM dada. Este proceso se asemeja al muestreo ancetrial de una pila infinita de redes de creencias sigmoideas como un modelo gráfico dirigido alternando capas ocultas de la RBM desenrollada de la siguiente manera:

h1 -> W -> v1 -> W ‘-> h2 -> W -> v3 ->…. -> h_ {inf} -> W -> v_ {inf}

entonces, las muestras de p (v_ {inf}, h_ {inf}) de la pila infinita de red de creencias sigmoideas son equivalentes a las muestras de p (v, h) de RBM. Si tenemos el mismo proceso de muestreo de Gibbs de dos distribuciones, al final tendrán la misma distribución.

En una perspectiva de parámetros de aprendizaje de una pila infinita de redes dirigidas con pesos compartidos, su gradiente de probabilidad es el mismo que un RBM porque la probabilidad de reconstrucción de una capa es la misma que la probabilidad posterior de una capa t + 2, que se debe principalmente a el hecho de que la capa oculta de la pila infinita de redes dirigidas tiene RBM como un previo complementario específico, lo que conduce a la probabilidad factorizada p (v | h) y p (h | v) con peso compartido.

Deep Boltzmann Machines (DBMs) es un modelo gráfico no dirigido que tiene una estructura gráfica en forma de pila de RBM. Sin embargo, codifica una medida de probabilidad de una configuración de variables aleatorias completas de múltiples capas.

Si aprendemos DBM como una pila de RBM, aprenderemos una pila infinita de Belief Networks con un RBM superior como un complemento previo, lo que significa que estamos aprendiendo las Deep Belief Networks en lugar de las DBM.

Entonces, a pesar de que podemos iniciar parámetros aprendiendo cada dos capas como un RBM, necesitamos aprender el DBM en su totalidad tal como se describe en el documento de DBM.

¡Feliz aprendizaje profundo!