¿Qué es una cadena de Markov?

En pocas palabras, es un proceso donde las transiciones de un estado dado son aleatorias y solo dependen del estado actual.

La siguiente analogía podría ayudar (hay otros en http://en.wikipedia.org/wiki/Mar … pero traté de encontrar uno propio, tan tonto como parece). Asume que estás en una cita. Suponga que la probabilidad de una segunda cita es del 50%, a menos que el clima sea caluroso, lo que hace que sude en exceso y, por lo tanto, reduce la posibilidad de una próxima cita al 20%. Esta probabilidad no depende de cómo resultaron tus fechas anteriores o si llovió hace una semana. Entonces es una cadena de Markov.

La cadena de Markov busca modelar probabilidades de transiciones de estado a lo largo del tiempo.

La gota de tinta en un vaso de agua ejemplo:
Llena un vaso transparente hasta la mitad con agua pura. Déjalo reposar un rato … Luego, deja caer una gota de tinta china en el agua. Observará que la tinta se dispersa gradualmente por todo el vaso. En algún momento, el líquido en el vidrio es de un color uniforme, representando una distribución igual de partículas de tinta en todo el vidrio.

Ese es el punto en el que la cadena de Markov se ha resuelto desde su estado inicial a un estado estable. Algunas cadenas de Markov no se resuelven.

Tiene movimiento browniano a nivel molecular, que se modela como un proceso de Paseo aleatorio, y las paredes interiores del vidrio, que representan las condiciones de contorno.

El ejemplo de la rueda de Roulett:
Si una rueda de ruleta tiene 37 bolsillos en los que la bola puede caer, entonces la cadena de Markov representa 37 transiciones de estado diferentes. Para mayor claridad, visualice la cadena de Markov como una matriz cuadrada, con 37 filas y 37 columnas. La intersección de cada fila y columna representa una transición de estado. En una matriz de Markov normalizada, los valores en cada fila suman 1.0. Hay un caso especial donde los valores en cada columna también suman 1.0, lo que resulta ser bastante útil al modelar ciertas clases de eventos del mundo real.

Si la ruleta es un juego verdaderamente aleatorio, cada transición de estado tiene la misma probabilidad (1/37), de modo que las probabilidades de todas las posibles transiciones de estado suman 1.0. En este caso, no puedes vencer a la rueda. Sin embargo, si la observación / historial detecta un ligero sesgo, de modo que la transición de estado de Rojo-1 a Negro-33 tiene una probabilidad ligeramente mayor que de Rojo-1 a Rojo-3, entonces es posible que su modelo de Markov se resuelva, y que podrías “vencer las probabilidades”.