¿Cuál es la pérdida latente en autoencoders variacionales?

Básicamente, un autoencoder de vainilla es una red neuronal que recibe una imagen y luego la reconstruye. Hay una parte del codificador de la red que toma la imagen y crea un vector latente (un vector que no puede reconfigurarse instantáneamente en una imagen) que es esencialmente una versión preparada de su imagen que ahora está en una dimensión mucho más baja espacio (solo un par de carrozas en lugar de una imagen completa). Este vector latente se puede alimentar a una red decodificadora que ‘desengancha’ el vector latente en la misma imagen.

Al mismo tiempo, podríamos hacer nuestros propios vectores latentes (dibujar valores aleatorios) y alimentarlos en la parte del decodificador y obtener una imagen híbrida extraña que realmente no se parece mucho. Esto se debe a que la mayoría de nuestros vectores latentes estarán fuera del espacio de datos que le hemos dado a las redes, por lo que para aumentar nuestras posibilidades de elegir buenos vectores latentes, restringimos los vectores latentes que genera la parte del codificador para extraerlos Una unidad de distribución gaussiana. De esta manera, cuando tomamos muestras de la distribución gaussiana de la unidad, podemos estar seguros de que el decodificador puede decodificarlo en algo razonable.

Para restringir la red, le damos dos pérdidas (hay dos objetivos aquí), uno es latent_loss, que mide la pérdida de la ‘unidad gaussiana’ del vector latente, que lo penaliza si el vector latente no se pega a la unidad de distribución gaussiana. También hay una segunda pérdida, que es la pérdida de imagen real, ya que el autoencoder también debe asegurarse de que la imagen de salida coincida con la imagen de entrada. Al combinar estos dos, la red tiene que negociar, encontrando la mejor combinación de low latent_loss (unidad de distribución gaussiana de vectores latentes) y low image_loss (alta similitud entre las imágenes de entrada y salida). Latent_loss solo se evalúa a cero (perfecto) cuando la media es 0 y stddev es 1, que es una unidad gaussiana.

La diferencia entre el codificador automático y el codificador variable es que forzamos el estilo de Z a la distribución de Gaussion en VAE. Por lo tanto, la función de pérdida en VAE contiene dos partes. La primera es la KL, y la segunda

More Interesting

Durante el aprendizaje automático para la detección de objetos, ¿cómo puedo simular el efecto de la iluminación de diferentes días en mi conjunto de datos de entrenamiento?

¿Cómo responden las redes neuronales profundas para la clasificación de imágenes a las variaciones típicas de la imagen, como la iluminación, la distancia focal, etc.?

Cómo calcular la huella de memoria de un modelo particular de aprendizaje profundo

Optimización matemática: ¿Por qué el método de descenso más pronunciado usando el descenso de gradiente típico tiene problemas con la función de Rosenbrock?

¿Qué significa 'estimación ML o MAP no captura la incertidumbre de los parámetros'?

¿Cuáles son algunos de los mejores programas de posgrado de aprendizaje automático que no requieren un título universitario de CS?

¿Es razonable excluir valores atípicos en su conjunto de datos de entrenamiento para su clasificador?

¿Qué modelos CNN necesitan una norma de lote pero son lo suficientemente pequeños como para hacer una prueba muy rápida?

¿Cómo se puede aplicar el aprendizaje automático en los campos de la ingeniería química y de procesos?

¿Son las redes aditivas recurrentes universalmente mejores que las LSTM y GRU?

¿Por qué la mayoría de las declaraciones de investigación de aprendizaje automático suenan a mierda?

¿Cuáles son algunas trampas comunes al estudiar la clasificación en el aprendizaje automático?

En el autoencoder variacional, ¿por qué solo tomamos muestras de variables latentes de un gaussiano estándar y aplicamos el decodificador para generar nuevos datos en las pruebas?

¿La normalización por lotes ayuda con las funciones de activación de ReLU?

¿Hay algún artículo que justifique la normalización de los valores de los elementos en los sistemas de recomendación?