¿Cuáles son algunos buenos textos en MCMC?

Aquí, solo hablo sobre el lado de la práctica de MCMC. Si está interesado en el lado teórico de MCMC, esta respuesta puede no ser una buena referencia.

El libro Markov Chain Monte Carlo in Practice me ayuda mucho a comprender el principio de MCMC. Los primeros capítulos son de lectura obligatoria. Sí, lo sé, este es un libro que se publicó hace 17 años, pero el material en este libro sigue siendo excelente, y creo que nunca puede quedar desactualizado. Cuando lea este libro, descubrirá cuán útil es este libro.

Si desea ver algunos ejemplos concretos, puede seguir el libro Introducción a los métodos de Monte Carlo con R. Este libro le enseñará MCMC y R al mismo tiempo, y es un libro relativamente corto. En realidad, este es el primer libro que leo para aprender MCMC.

Si tiene suficiente tiempo y también está familiarizado con los conceptos básicos de cómo construir un compilador, vaya a leer el código fuente de JAGS (http://mcmc-jags.sourceforge.net/). JAGS es un solucionador de muestras de Gibbs general, como WinBUGS. JAGS es de código abierto, y el código fuente es conciso y claro. Me he beneficiado mucho al leer su código fuente: JAGS cubre casi todo sobre cómo funciona una muestra general de Gibbs. Si desea crear su propio muestreador, JAGS aún puede ayudarlo, ya que está diseñado como un marco general y admite muestreador personalizado, lo que significa que puede reutilizar todo lo que JAGS ha implementado y solo implementar la parte innovadora de su método .

Algunos papeles:

Corte de muestra por Neal. http://projecteuclid.org/DPubS?s…

Tanto MacKay ( http : //www.inference.phy.cam.ac… .) Como Bishop ( http://research.microsoft.com/en… ) tienen excelentes introducciones de la teoría e implementaciones de Markov Chain Monte Carlo, incluyendo muchos desarrollos recientes en el campo. Para aquellos que buscan trabajo serio, el reciente Manual de Markov Chain Monte Carlo ( http://www.mcmchandbook.net/ ) es imprescindible. Lanzado solo este año, el libro es una colección de artículos que detallan no solo los fundamentos y la investigación actual, sino también muchas aplicaciones en una variedad de campos.

Esto es lo que dicen mis notas de la escuela de posgrado:

1. Andrieu, Freitas, Doucet y Jordan. Una introducción a MCMC para el aprendizaje automático. Machine Learning, 50: 5–43, 2003.

2. G. Heinrich. Estimación de parámetros para análisis de texto. Nota técnica Versión 2.4, vsonix GmbH y Universidad de Leipzig, agosto de 2008. http://www.arbylon.net/publicati… .

3. RM Neal. Inferencia probabilística utilizando los métodos de Monte Carlo de la cadena de Markov. Informe técnico CRG-TR-93-1, Universidad de Toronto, 1993. http://www.cs.toronto.edu/∼radfo… .

Si está interesado en MCMC / Gibbs Sampling para usar en PNL, le recomendaría:

1. K. Knight. Inferencia bayesiana con lágrimas: un libro de trabajo tutorial para investigadores de lenguaje natural, 2009. http://www.isi.edu/natural-langu… .

2. Philip Resnik y Eric Hardisty, muestreo de Gibbs para los no iniciados. Informe técnico, abril de 2010. Número de informe técnico de la Universidad de Maryland CS-TR-4956, UMIACS-TR-2010-04, LAMP-153. http://hdl.handle.net/1903/10058

More Interesting

¿Cuáles son las habilidades requeridas para un ingeniero de aprendizaje automático / aprendizaje profundo de nivel básico?

¿Por qué el uso de información mutua / ganancia de información / funciones similares funciona mejor que simplemente usar el error promedio (usando probabilidad) para un booleano (conjunto de datos de 2 clases) al construir un árbol de decisión?

¿Qué debo hacer para un bot de chat con aprendizaje automático?

¿Qué es un codificador / decodificador en aprendizaje profundo?

¿Cuál es la diferencia entre tensorflow y CVX?

¿Cuáles son las principales aplicaciones potenciales para un cordón neural? ¿Hay algún peligro relacionado con el uso de dicha tecnología?

Cómo mejorar en Machine Learning y PNL

¿Tiene sentido la regularización (L2, abandono, etc.) alguna vez para datos muy ruidosos, pero también abundantes, como series de tiempo financieras?

Conjuntos de datos: ¿Cuáles son los principales corpus de texto utilizados por los lingüistas computacionales y los investigadores del procesamiento del lenguaje natural, y cuáles son las características / sesgos de cada corpus?

Antes de elegir y aplicar incluso el modelo de aprendizaje automático lineal más simple, ¿qué aspectos estadísticos de los datos debo considerar?

¿Por qué el impulso ayuda a entrenar una red neuronal?

¿Qué piensa la gente del siguiente documento que señala los límites del aprendizaje de extremo a extremo?

¿Qué es la programación probabilística?

Cómo tratar las variables categóricas al analizar los datos de la encuesta para crear una clasificación

¿Qué algoritmo utiliza AutoDraw de Google para asociar nuestro dibujo con uno existente?