DBN: las redes de creencias profundas (DBN) son modelos generativos que se entrenan utilizando una serie de máquinas de Boltzmann restringidas (RBM) apiladas (o a veces Autoencoders) con una capa o capas adicionales que forman una red bayesiana. Debido al uso de RBMs no hay conexiones intra-capa (de ahí el “restringido” en máquinas de Boltzmann restringidas). Además, debido a que el rendimiento de los DBN depende en gran medida de la inicialización de los nodos, las capas utilizan un entrenamiento previo sin supervisión utilizando un procedimiento de apilamiento RBM que incorpora divergencia contrastante. Los DBN también se usan típicamente para una variedad de tareas de clasificación.
RNN: por otro lado, las redes neuronales recurrentes (RNN) generalmente se entrenan en datos secuenciados e incorporan ideas de desenrollado de gráficos y de intercambio de parámetros que permiten una variedad de arquitecturas RNN diferentes. Las unidades ocultas tienen conexiones recurrentes que transmiten información paso a paso. Los RNN tienden a sufrir el gradiente explosivo y los problemas de gradiente que desaparecen. De hecho, los RNN de memoria a corto plazo se desarrollaron para manejar este problema. La transmisión de información permite que los RNN brillen en las tareas de procesamiento del lenguaje natural.
- ¿Cuál es la diferencia entre inferencia y aprendizaje?
- ¿Cuáles son algunos buenos chistes de aprendizaje automático?
- Con la inteligencia artificial y la robótica desarrollándose a tal ritmo, ¿qué profesiones podrían estar disponibles para mis hijos dentro de 20 años?
- ¿Cuál es el estado actual del Proyecto Halo?
- ¿Qué puede usarse la inteligencia artificial o el aprendizaje profundo en el análisis financiero y la inversión?
Entonces, las diferencias clave son las siguientes:
- Capacitación: los DBN se entrenan previamente de manera no supervisada; Los RNN se entrenan secuencialmente
- Estructura: los DBN no tienen conexiones intracapa o entre unidades entre cada capa; Los RNN tienen intrínsecamente conexiones recurrentes que transmiten información entre unidades.
- Problemas: los DBN dependen en gran medida de la inicialización y pueden ser computablemente intratables sin una capacitación previa efectiva; Los RNN sufren problemas de gradiente de explosión / desaparición
- Tareas: los DBN pueden servir clasificación, regresión y otras tareas; Los RNN son adecuados para el procesamiento del lenguaje natural y otros problemas relacionados.
Más información:
- Puede encontrar más información sobre DBNs usando las diapositivas / videos de Hugo Larochelle (Universite de Sherbrooke) aquí
- Puede encontrar más información sobre RNN y DBN (y otros conceptos de aprendizaje profundo) en el libro de texto de Aprendizaje profundo de Goodfellow, Bengio et. Alabama. que está disponible aquí
