Esencialmente, lo que está sucediendo en el algoritmo wake-sleep es que el sistema está tratando de mejorar la coincidencia entre lo que ve y lo que cree que está viendo, en función de su propia representación interna más profunda.
En la fase de “activación”, el contenido de la imagen de entrada que el sistema intenta regenerar proviene de una fuente externa, como imágenes de dígitos escritos a mano. En comparación, en la fase de “suspensión”, los recuerdos más profundos usan su representación más estable de un concepto y usan esta representación como una entrada que también le gustaría que el sistema regenere, desde su punto de vista interno más profundo.
Creo que puede ser útil si toma toda la red DBN, ya que generalmente está dibujada, desde abajo (entrada) hasta arriba (la capa más abstracta), y la pone al revés. Es útil hacer esto para obtener una comprensión más intuitiva del modo de “suspensión”. La “entrada” en la parte inferior de esta red invertida ahora se convierte en la representación abstracta de la imagen y, como si una persona estuviera imaginando una imagen o imagen, usaría el flujo ascendente a través de la red para crear una imagen ‘imaginada’ correspondiente en la parte superior, que luego utiliza como entrada inicial en su camino de regreso hacia abajo. Para entrenar su memoria de ‘reconocimiento’, modifica las memorias en la red a medida que avanza, con el fin de obtener una mejor coincidencia del tipo conceptual de representación que tenía en mente.
- ¿Cuándo es preferible usar árboles de regresión en el aprendizaje automático?
- ¿En qué se diferencia exactamente la generación del lenguaje natural de la comprensión del lenguaje natural?
- ¿Cuál es la diferencia entre adaboost y el clasificador de perceptrones de una capa?
- ¿Cuál es la diferencia entre las pruebas de heterocedasticidad y las pruebas de normalidad de errores?
- ¿Cuáles son las ventajas de usar una representación escasa en el aprendizaje automático, especialmente en los modelos de aprendizaje profundo?
Debido a que en el modo de “suspensión” no hay una entrada externa (visual) real, es equivalente a tener “los ojos cerrados” o soñar. La ‘entrada’ que coincide en este modo está realmente en el fondo de la red. Obviamente, el modo “despertar” está de vuelta en la configuración generativa original, con “ojo abierto” y una entrada externa que dicta directamente los resultados de generación de imágenes del modelo.
En cuanto a una descripción real del proceso que está ocurriendo, supongo que las limitaciones de la representación interna del modelo ANN hacen que algunas partes del espacio de entrada de imagen externa sean más valiosas que otras para el tipo particular de función de la red. Lo que hace cuando “duerme” es simplemente fortalecer esas vías o pesos en el lado del “reconocimiento” que tienden a activar mejor la respuesta deseada. Luego, cuando explore imágenes novedosas, los datos de entrada se manejarán de una manera más adecuada u óptima. En realidad, sin que el mensaje regrese de las profundidades, sería difícil determinar qué características o detalles realmente prefiere extraer de los píxeles de la imagen de entrada para lograr una comprensión o clasificación interna adecuada.
Si se me pregunta si este algoritmo está relacionado o no con el “sueño” biológico real, supongo que tal vez no, ya que se aplica utilizando un mecanismo de apagado que requiere muchos datos de entrada reales accesibles para la fase de “vigilia”. Pero el proceso funcional parece sano. Puede ser que si no se hace de esta manera, en realidad ocurre durante el sueño en un proceso de aprendizaje entre dos representaciones ya abstraídas que de alguna manera son más fáciles de mantener dentro de los sistemas de almacenamiento interno del cerebro.
