No hay diferencia, per se, entre Bayes empírico y la inferencia bayesiana. Más bien, Empirical Bayes es un tipo de inferencia bayesiana.
La inferencia bayesiana se refiere a la idea general de colocar una distribución previa, o una creencia inicial, en sus parámetros [math] \ theta [/ math]. Existen diferentes niveles de inferencia bayesiana en función de la cantidad de abstracción / complejidad involucrada en la determinación de esto antes.
El primer nivel y el más simple es la estimación del máximo A posteriori (MAP) . Esto solo implica colocar un simple anterior [math] p (\ theta; \ eta) [/ math], donde [math] \ eta [/ math] denota hiperparámetros. Entonces podemos usar la regla de Bayes para seleccionar la [matemática] \ theta ^ * [/ matemática] que maximiza la distribución posterior
- ¿Cuáles son los algoritmos principales detrás de Google Translate?
- ¿Cómo puede un joven de 16 años comenzar a aprender sobre el aprendizaje automático?
- ¿Qué tipo de proyectos de aprendizaje automático puedo hacer? ¿Qué libros me recomiendan aprender? Estoy interesado en usar Python.
- ¿Cuál es la diferencia entre un enrutador CNC y un molinillo CNC?
- ¿Puede el aprendizaje profundo manejar datos desequilibrados?
[matemáticas] p (\ theta \ vert D) = p (D \ vert \ theta) \ cdot p (\ theta; \ eta) [/ math]
donde [math] D [/ math] denota los datos.
Sin embargo, generalmente no existe un método para seleccionar [matemáticas] \ eta [/ matemáticas] en la estimación MAP; simplemente elegimos algo que es “razonable”, pero a menudo es difícil determinar qué significa realmente “razonable”. En la mayoría de los casos, “razonable” se convierte en “arbitrario”.
Por lo tanto, el siguiente nivel de inferencia bayesiana intenta rectificar este problema en forma de Bayes empíricos . Aquí, [math] \ eta [/ math] se elige en función del examen de los datos. Bayes empíricos tradicionales implica elegir la [matemática] \ eta ^ * [/ matemática] que maximiza
[matemáticas] p (D \ vert \ eta) = \ int p (D \ vert \ theta) p (\ theta; \ eta) d \ theta [/ math]
(Nota al margen: esta ecuación se parece un poco a la Estimación de máxima verosimilitud (MLE) en la inferencia frecuenta, por lo que Empirical Bayes a veces también se llama MLE-2 ).
Por lo general, encontrar la [matemática] \ eta [/ matemática] que maximiza esta integral es computacionalmente difícil, por lo que las personas han redefinido Empirical Bayes para referirse generalmente a cualquier método de inferencia bayesiano que elija los hiperparámetros basados en los datos. Por ejemplo, esto podría ser tan simple como configurar [matemáticas] \ eta = \ bar {D} [/ matemáticas] (también conocido como la media de los datos).
Otros niveles de inferencia bayesiana incluyen MAP-2 (que pone un hiperprior en los hiperparámetros) y el predictivo posterior (también conocido como Full Bayes , que margina todos los parámetros e hiperparámetros al hacer predicciones).
