En general, hay muchos tipos diferentes de redes de aprendizaje profundo porque son
- se usa para problemas ligeramente diferentes (por ejemplo, los perceptrones de múltiples capas (MLP) se usan para el aprendizaje automático supervisado general, mientras que las redes neuronales convolucionales (CNN) se usan específicamente para imágenes y series de tiempo porque pueden explotar la estructura espacial / temporal de datos)
- o porque uno es una mejora o extensión del otro. Por ejemplo, las redes LTSM son una mejora sobre las redes RNN.
Las máquinas Deep Boltzmann (DBM) y las redes de creencias profundas (DBN) son un ejemplo de este último punto.
Los DBN y los DBM fueron propuestos por investigadores de Geoffrey Hinton. En 2006, Hinton et al. propuso un método para entrenar Máquinas de Boltzmann Restringidas (RBM) apiladas capa por capa de forma “codiciosa” para obtener un modelo compuesto denominado DBN. Sin embargo, el DBN apilado resultante no es en sí mismo un RBM. Las dos primeras capas resultan estar conectadas con bordes no dirigidos (formando un RBM real), mientras que todas las otras capas están conectadas con bordes dirigidos . Para superar esto, Salakhutdinov e Hinton introdujeron un poco más tarde los DBM. En los DBM, todas las capas se pueden entrenar de una vez, lo que conduce a un modelo con solo conexiones no dirigidas, lo que lo convierte en una verdadera “máquina de Boltzmann profunda”. En la práctica, para hacer que el entrenamiento sea manejable, se usa el preentrenamiento codicioso. Las diferentes conectividades se ilustran bien en el documento anterior en la Figura 3.
- ¿Cómo funciona el algoritmo EM para un modelo mixto que factoriza según un modelo Naive-Bayes?
- ¿Cómo y qué tipo de datos ha recopilado por su cuenta para el proyecto / servicio ML?
- ¿Vale la pena el curso sobre aprendizaje automático en Coursera por la Universidad de Stanford?
- ¿Qué algoritmo de aprendizaje automático usarías para analizar los datos de los alumnos?
- ¿Qué métodos de aprendizaje automático simples e intuitivos ofrecen el mayor valor?
El hecho de que la información pueda fluir en ambos sentidos en los DBM puede hacerlos más atractivos en algunos escenarios. Por ejemplo, citando a Salakhutdinov et al .: “A diferencia de las redes de creencias profundas, el procedimiento de inferencia aproximada, además de un pase de abajo hacia arriba inicial, puede incorporar retroalimentación de arriba hacia abajo, permitiendo que las máquinas de Boltzmann profundas propaguen mejor la incertidumbre y, por lo tanto, tratar de manera más robusta con entradas ambiguas “.
Sin embargo, en algunos casos la inferencia puede ser computacionalmente más barata en los DBN debido a las conexiones dirigidas.
