Voy a prefacio esto señalando que no todos los problemas de inferencia bayesiana son intratables; algunos tienen una estructura especial que los hace susceptibles de inferencia exacta.
En el caso general, sin embargo, calcular la intractabilidad se deriva de la constante de normalización. Comencemos describiendo qué es la inferencia: dadas algunas observaciones, [matemática] x [/ matemática], intente calcular la distribución sobre las variables ocultas [matemática] z [/ matemática]. Comencemos escribiendo lo que queremos descubrir en términos de la regla de Bayes:
[matemáticas] p (z | x) = \ frac {p (x | z) p (z)} {p (x)} [/ matemáticas]
- Cómo saber si, durante el entrenamiento de un modelo de aprendizaje profundo, está en camino de encontrar un mínimo local mejor o no
- ¿LinkedIn utiliza Deep Learning?
- ¿Es posible aplicar la localización de objetos sin tener regiones de caja en la verdad básica?
- ¿Cuál es la diferencia entre bootstrapping y validación cruzada?
- En PCA, ¿cuáles son los roles y los significados físicos de las caras propias?
Ahora [math] p (x | z) [/ math] suele ser bastante fácil de entender (esta es solo la función de probabilidad y, a menudo, definida analíticamente por su modelo). El segundo término en el numerador es solo tu anterior, que también puedes elegir.
El denominador, sin embargo, es complicado. ¿Cómo sabes cuál es la probabilidad de los datos? El enfoque más directo es aprovechar el hecho de que [math] p (z | x) [/ math] tiene que sumar uno.
[matemáticas] p (x) = \ sum_z p (x | z) p (z) [/ matemáticas]
(Reemplace la suma con integrales apropiadas si lo desea). Aquí está el problema: fuera de los casos especiales, debe sumar todos los valores posibles de [math] z [/ math]. La cantidad de cosas que tiene que sumar explota exponencialmente (o al menos #P). Como un ejemplo simple, considere una colección de monedas [matemáticas] N [/ matemáticas] (es decir, variables que pueden ser cero o una) que están conectadas entre sí de alguna manera. Para calcular la constante de normalización, debe sumar todas las permutaciones de esas monedas, de ahí los términos [matemática] 2 ^ N [/ matemática].
