Aprendizaje profundo: ¿Por qué la función energética de la máquina de Boltzmann restringida se define de la manera en que se define?

Esta es una buena pregunta ya que los documentos originales sobre la máquina Boltzmann (BM) de Sejnowski et al. nunca mostró la relación matemática entre la distribución de Boltzmann y la correspondiente función de activación. La respuesta corta es que las funciones de activación pueden derivarse simplemente mediante análisis bayesiano. Para un BM,

P (x) = exp (-E (x)) / (sum_ (x ‘) exp (E (x’))) (1)

dónde:

x = estado de la BM

P (x) = probabilidad de x generada por el BM
(cuando se ejecuta en equilibrio)

E (x) = -sum_ (ij) x_i x_j (ignorando sesgos) = la función de energía

Si asume que las unidades x son binarias y derivan P (x_i | x_j: j! = I) (‘! =’ Significa ‘no igual’) de la ecuación 1, deriva la función de activación estocástica sigmoidal:

P (x_i = 1 | x_j: j! = I) = siqmoid (suma (w_ij * x_j: j! = I))) (2)

es decir, la función de activación estándar de una unidad BM (ignorando sesgos), mediante el uso de la regla de Bayes con la ecuación. 1 para obtener la ec. 2. Hinton, Rosen-Zvi y Welling, titulados “Armonios familiares exponenciales con una aplicación para la recuperación de información”, escriben un buen artículo sobre la generalización del BM, o realmente, sobre la generalización de las máquinas de Boltzmann restringidas. Las diferentes formas de RBM derivadas en ese documento se pueden alcanzar utilizando la regla de Bayes como se indicó anteriormente.

De las ecuaciones. 1 y 2 no es difícil demostrar que la dinámica de transición de un BM obedece a “equilibrio detallado” donde la probabilidad de estar en la transición de x a x ‘es la misma que estar en la transición en reversa, es decir, P (x) P (x-> x ‘) = P (x’) P (x ‘-> x), donde P (x) se refiere a la probabilidad de estar en el estado x para la distribución de equilibrio de la BM. Esto significa que el BM no tiene información con respecto a la secuencia de los estados, al menos en equilibrio (afirma una causalidad). Desde un punto de vista práctico, podría ser más fácil usar la ecuación de equilibrio detallada para derivar, por ejemplo, las funciones de activación que el método descrito en el párrafo anterior.

También es interesante considerar qué tipo de distribución se generará a partir de una red totalmente conectada como la BM pero con algunas funciones de activación de la unidad arbitrariamente inventadas. En general, dicha distribución no estará en equilibrio detallado, y de hecho puede que ni siquiera haya una distribución de equilibrio.

Me pregunto si el autor de esta pregunta tiene una mentalidad algo parecida a la mía, ya que esta pregunta se hizo grande en mi mente cuando comencé a estudiar esto. Siendo ingeniero mecánico y más apto para pensar en la operación “visceral” del BM, me sorprendió que su comportamiento pueda reducirse a una ecuación muy simple. Pero al menos ahora veo cómo funciona más visceralmente de lo que solía hacerlo. La clave es que la distribución de equilibrio de la BM está implícita en la suma de todos los estados en la función de partición (el denominador de la ecuación 1), es decir, este último está realizando una expectativa. Quizás la parte más interesante es cómo la suma de todos los estados se reduce a una suma de todos los estados locales al encontrar la función de activación (ecuación 2).

Todos nuestros esfuerzos en el aprendizaje automático están dedicados al diseño de discriminadores de algún tipo. Es decir, queremos diseñar sistemas que discriminen las entradas buenas de las malas. También queremos asegurarnos de que el sistema aprenda a discriminar entre las entradas de manera predecible. Uno de esos sistemas es el modelo basado en energía. En el modelo basado en la energía, tendemos a crear una analogía con los sistemas termodinámicos. El aprendizaje se realiza minimizando la energía del sistema para entradas deseables y no minimizándola para las entradas indeseables.
El esfuerzo inicial para crear los modelos basados ​​en energía intentó imitar los sistemas termodinámicos. Como siempre, aprender de la naturaleza es la mejor manera. Puede definir su propia función energética (o como quiera llamarla), en la medida en que pueda definir un procedimiento de aprendizaje eficiente para ello, lo está haciendo bien.

Su pregunta sugiere 2 formas diferentes de modificar la función de energía: (1) diferentes tipos de unidades y (2) más tipos de conexiones. Para el primero, puede usar cualquier distribución que pueda describirse en familia exponencial y luego combinarlas multiplicativamente. La distribución combinada también pertenece a la familia exponencial. Luego puede descomponer el término de probabilidad de registro en expectativas dependientes e independientes de datos. Para el segundo, también puede agregar conexiones entre unidades, pero ahora el modelo es “sin restricciones” y más complicado (por ejemplo, RBM condicional y máquina Boltzmann). Tendrá que recurrir a una forma de aproximación para estimar los datos dependientes. El costo computacional también aumenta.