Hmm en este momento, ya no creo que sea apropiado (si alguna vez lo fue) describir los autoencoders profundos de esa manera. La gente suele pensar en los autoencoders profundos como un superconjunto de redes de creencias profundas (DBN). Creo que la fuente de la confusión aquí es que en 2006, Hinton et al. publicó un artículo muy influyente sobre un algoritmo de aprendizaje rápido para máquinas de Boltzmann restringidas (también conocidas como redes de creencias profundas). Básicamente, este fue uno de los primeros pasos para poder entrenar efectivamente redes neuronales profundas. Configuraría un DBN, realizaría un pre-entrenamiento sin supervisión para obtener un conjunto decente de representaciones de características para las entradas, y luego ajustaría el conjunto de entrenamiento para obtener predicciones de la red. Lo mismo ocurrió con los modelos de autoencoder. Si desea entrenar un autoencoder profundo, debe configurarlo como un DBN y aplicar el mismo algoritmo de pre-entrenamiento no supervisado. Esto fue durante el tiempo antes de que el entrenamiento con GPU en grandes conjuntos de datos fuera popular, por lo que entrenar una red profunda sin preentrenamiento tendía a ser extremadamente lento.
Obviamente, hoy en día, ya no necesitamos formular autoencoders profundos en términos de RBM para poder capacitarlos de manera efectiva. Podemos usar topologías de red más generales para el codificador / decodificador, como las basadas en un CNN o un RNN (eche un vistazo a seq2seq) para entrenar un autoencoder profundo. De modo que la definición de codificadores automáticos profundos está desactualizada, aunque los principios subyacentes para los codificadores automáticos profundos / DBN aún se mantienen.
- ¿El aprendizaje por refuerzo es escalable?
- Ahora mismo estoy aprendiendo desarrollo web, pero no creo que me sea muy útil. ¿Debo aprender el aprendizaje automático o el desarrollo de software?
- ¿Me puede recomendar algunos buenos libros, blogs, artículos y documentos dedicados a conjuntos de modelos y especialmente apilamiento de modelos, también conocidos como conjuntos de modelos híbridos?
- ¿Puede un desarrollador de aprendizaje profundo atrapar criminales que abusan de niños?
- ¿Se puede colocar un previo en el hiperparámetro de un modelo bayesiano jerárquico?
