¿Qué documentos debo leer si quiero entender bien los métodos Bayesianos Variacionales?

Los métodos variacionales pueden verse como una generalización del algoritmo EM donde la idea es aproximar un posterior a través de una distribución variacional. Esta aproximación generalmente se realiza porque la parte posterior puede no tener una forma cerrada y la distribución variacional es mucho más simple de manejar.

Hay un repositorio de Bayes Variacional del sitio mantenido por Gatsby. Allí encontrará los documentos relevantes que está buscando, comenzando con la tesis doctoral de Beal [1] que introdujo por primera vez la técnica de bayes variacional.

Además, quisiera señalar algunos enlaces tutoriales:
1] Explicación de alto nivel de la inferencia variacional por Jason Eisner
2] Tutorial FMRIB sobre Bayes Variacionales
http://users.fmrib.ox.ac.uk/~cha…
3] Un tutorial sobre inferencia de Bayes variacional (aproximación media de campo)
Página sobre orquídea

[1] Matthew J. Beal – Tesis: Matthew J. Beal, Algoritmos variacionales para la inferencia bayesiana aproximada

Explicaré las formas Variacionales tal como las entendí … La Inferencia Variacional se usa para calcular el posterior, que de otro modo es difícil de calcular exactamente.
Sin poner muchas ecuaciones, los métodos variacionales intentan elegir una familia de distribuciones sobre variables latentes con sus propios parámetros variacionales. La idea es elegir los parámetros de modo que los parámetros estén cerca de la parte posterior de interés minimizando la divergencia KL entre las dos distribuciones.

Si va a ver o comprender específicamente, es fácil leer los documentos introductorios de

  1. “Bayes variacionales para modelos de temas genéricos” de Gregor Heinrich,
  2. Emtiyaz “Derivación del algoritmo EM variacional para el modelo de tema correlacionado”
  3. “Técnicas de inferencia bayesiana variacional” de Seeger

Estos son bastante fáciles de leer y deberían proporcionar una lectura fácil aparte del libro de Wainwright (aún no lo he leído). La tesis de Beal también es bastante buena.
También ayuda si puede pasar por más modelos y resolver cada detalle usted mismo.