Probablemente alguien que conozca mucho mejor la literatura podría dar una mejor respuesta, pero hasta donde yo sé, los problemas más obvios son:
- Es muy complicado. Necesita pasar mucho tiempo diseñando un esquema de inferencia y probándolo, etc. Para pequeños problemas, puede usar paquetes MCMC listos para usar para resolver el mismo problema, porque 8 horas de tiempo de cómputo es mucho más barato que 60 horas de uso humano. trabajo. Dicho esto, aparentemente las personas han estado trabajando para hacer que la inferencia variacional sea automática en ciertos tipos de problemas.
- Depende de las propiedades de conjugación, por lo que si desea o necesita relajar algunas de estas condiciones, deberá utilizar un esquema de inferencia completamente nuevo. Hay algunas formas de evitarlo (por ejemplo, VB bajo la aproximación de Laplace), pero no creo que haya una solución general, ya que el objetivo de VB es mantener la capacidad de análisis, mientras que a algunas personas realmente no les importa o no quiero preocuparme por eso (por ejemplo, la tripulación de Andrew Gelman).
- La inferencia variacional explota algo llamado ‘aproximación de campo medio’. Esta aproximación establece que los factores posteriores en un conjunto de componentes condicionalmente independientes o, si lo desea, aproxima la solución de un problema complejo con un ingenuo modelo tipo Bayes. Aunque eso tiene sentido en muchas situaciones, para algunos problemas complicados le preocupan las complejas interacciones de las características que está modelando. Por lo tanto, los métodos variacionales probablemente no sean suficientes.
