¿Por qué la máquina de Bolzmann restringida se llama memoria asociativa?

Una vez realicé un experimento en el conjunto de datos MNIST donde, después del entrenamiento, puse al azar el 30% de los píxeles. Luego le di la imagen corrupta al RBM entrenado y Gibbs-Sampled por unos pocos pasos. Así es como se ve la salida después del procedimiento de muestreo:

Tenga en cuenta que el 6 producido por el RBM no se parece en nada al 6 corrupto que se mostró originalmente. Sin embargo, fue capaz de asociar uno con el otro (¡aunque uno estaba muy dañado!)

¿Por qué hace esto la RBM? imaginemos que el RBM asocia el valor oculto ‘110’ cada vez que se muestra un dígito de 6. Si usamos este ‘110’ para la muestra de Gibbs de la red, siempre le mostrará diferentes tipos de 6. Los RBM están entrenados intencionalmente para hacerlo.

Un RBM es un ‘modelo energético’. Lo que hace durante el entrenamiento es reducir la energía libre conjunta de los nodos de entrada ([matemáticas] v [/ matemáticas]) y ocultos ([matemáticas] h [/ matemáticas]). Esto es para que, en el momento de la prueba, cuando el RBM muestre un nuevo valor [math] v_ {new} [/ math] en la entrada, intente activamente encontrar una configuración de [math] h [/ math] tal que el la energía libre sobre [math] h [/ math] y [math] v_ {new} [/ math] es mínima.

Está asociando efectivamente [math] v_ {new} [/ math] con [math] h [/ math] simplemente porque su energía libre se definió de esa manera durante el entrenamiento.

More Interesting

Cómo construir una aplicación de predicción de flujo de efectivo personal con extractos bancarios utilizando el aprendizaje automático

¿Puedo usar la agrupación (k-means, etc.) en un gran conjunto de datos para automatizar el proceso de búsqueda de similitudes y hacer recomendaciones?

¿Cuáles son algunas ideas importantes / brillantes en el aprendizaje automático?

¿Cuáles son las lecciones del desafío del Premio Netflix?

¿Es posible crear un 'ser' inteligente (AI) no una 'máquina'?

¿Dónde empiezo a aprender Machine Learning?

Cómo usar un árbol de decisión para construir datos sintéticamente

¿Es posible verificar manualmente si los vectores de soporte siguen hiperplanos teóricos en SVM usando un núcleo de base radial?

¿Cuáles son los métodos de implementación con calidad de producción para los modelos de aprendizaje automático?

¿Podría alguien elaborar la relación entre un lenguaje de máquina, un sistema operativo y un procesador en particular?

¿Cuáles son algunas aplicaciones del aprendizaje semi-supervisado?

¿Cuál es la relación entre visión artificial, inteligencia artificial de aprendizaje automático y aprendizaje profundo? ¿Son dependientes y están estrechamente vinculados?

¿Cuál es el beneficio de usar métodos de detección de comunidad gráfica sobre los enfoques de agrupación de datos y aprendizaje automático?

¿Cuál es la principal diferencia entre los problemas de clasificación y los problemas de regresión en el aprendizaje automático?

¿Cuáles son las suposiciones hechas por los modelos ocultos de Markov?