¿Cuáles son las distribuciones bayesianas anteriores y posteriores? ¿Cuáles son sus roles en las redes neuronales?

En su mayor parte, la inferencia bayesiana no está relacionada con las NN. Existen algunos métodos recientes que combinan NN con métodos bayesianos, pero aún así el componente NN y el componente bayesiano son en gran medida independientes.

Ahora, llegando a los métodos bayesianos, antes es la distribución que captura sus supuestos / conocimiento de dominio [“sesgo inductivo”], y es independiente de los datos. Posterior es la nueva distribución que captura tanto los supuestos / conocimiento del dominio como el patrón en los datos observados.

Por ejemplo, considere lanzar monedas. Digamos que le dan una moneda, y desea encontrar la probabilidad de obtener caras. Llamemos a eso [matemáticas] \ theta [/ matemáticas]. Sin realizar ningún lanzamiento, ¿qué crees? Que [math] \ theta [/ math] debe estar cerca de [math] 0.5 [/ math]. Por lo tanto, su distribución sobre los valores de [math] \ theta [/ math] sería similar a la siguiente:

Una vez más, lo que esto está diciendo es que es más probable que [math] \ theta [/ math] esté cerca de [math] 0.5 [/ math] que estar cerca de [math] 0 [/ math] o [math] 1 [/ matemáticas].

Ahora, digamos que arrojas la moneda 10 veces, y aterriza Cara cinco veces, y Cola cinco veces. Entonces, esto concuerda con su suposición, y su posterior también se verá similar al anterior: valor más alto cercano a [matemáticas] 0.5 [/ matemáticas], valores más bajos cercanos a [matemáticas] 0 [/ matemáticas] y [matemáticas] 1 [/matemáticas]. [La forma de la distribución seguirá siendo la misma, pero la curva realmente cambiará, llegando a ser más alta.]

Si, por el contrario, los 10 lanzamientos resultan en Caras nueve veces y Colas una vez, entonces su posterior será diferente: tendrá valores grandes alrededor de [matemáticas] 1 [/ matemáticas] y valores más bajos en cualquier otro lugar.

A medida que aumenta el número de lanzamientos [aumenta la cantidad de datos], el efecto de lo anterior en lo posterior se reduce.

Fuente de la imagen: Comprender Bayes

No puedo hablar por sus roles en las redes neuronales, pero aquí hay una explicación rápida de las anteriores y posteriores bayesianas.

En muchos experimentos, existe cierta información previa que podemos utilizar para hacer una inferencia mejor educada. Por ejemplo, digamos que estamos lanzando una moneda, y cada lanzamiento cuesta X dólares. Queremos encontrar una buena representación de su probabilidad de aterrizar cabezas, mientras gastamos la menor cantidad de dinero posible. En un mundo frecuentista, los antecedentes no importan. Entonces tendríamos que lanzar la moneda un cierto número de veces N, para decir, crear un intervalo de confianza del 95% para la probabilidad de caras. Ahora, esto cuesta N * X dólares para hacer.

En una perspectiva bayesiana, creemos que existe cierta información previa que se puede utilizar. Digamos, si previamente se realizó un experimento con esa moneda exacta que estamos adivinando. Luego podemos modelar esta distribución previa y usarla para incorporar información a nuestra respuesta final. Ahora, por supuesto, podemos lanzar la moneda N veces como antes, pero no tendríamos que llevarlo tan al extremo si ya tenemos un buen previo para nosotros en nuestro teorema de Bayes.

Antes de llegar a la parte posterior, necesitamos la probabilidad, que es básicamente nuestra probabilidad de que ocurra lo anterior. El posterior es proporcional al producto de la probabilidad y el previo, que es entonces una distribución basada en la probabilidad y el anterior, que en este caso es la probabilidad de cara de esta moneda.

Lo siento si esto no ayudó del todo, ¡todavía estoy tomando la Inferencia Bayesiana ahora! ¡Espero que esto ayude!