Este hecho es bastante básico, solo es necesario conocer todas las definiciones.
Una cadena de Markov finita es un conjunto de k estados con una matriz de probabilidades de transición ak por k. Un estado x es recurrente si la cadena vuelve a x en tiempo finito con probabilidad 1. Comenzando en x, el tiempo esperado T_x para volver a x aún puede ser infinito, de ser así, x es nulo recurrente ; de lo contrario es positivo recurrente . Un estado x es transitorio si no es recurrente, es decir, la cadena vuelve a x con probabilidad <1.
Entonces, para probar que una cadena finita de Markov no tiene estados recurrentes nulos:
1. Considere solo los estados recurrentes . Observe que son accesibles mutuamente , para garantizar el regreso a todos los estados.
2. Hay al menos un estado recurrente positivo. Si no, entonces todos los estados son nulos recurrentes o transitorios. Luego, con muchos estados, el tiempo de retorno esperado a cualquier lugar es infinito (en suma).
3. Deje que x sea positivo recurrente y suponga que x lleva a y. Entonces y es positivo recurrente. Cada vez que volvemos a x, hay una probabilidad positiva de ir directamente a y. Entonces T_y y.
- ¿Cuál es la diferencia entre el problema del vendedor ambulante y el problema del árbol de expansión mínima?
- ¿Cuáles son los pros y los contras de imprimir una matriz en Java?
- ¿Cómo podemos lograr O (nlogn) / O (n) para ThePalindrome (Topcoder SRM 427)?
- ¿Cómo funciona el algoritmo de sugerencia de seguimiento de Twitter?
- ¿Qué hace que un gran motor de 'recomendación de personas'?
Combine estas tres afirmaciones para mostrar que todos los estados son positivos, recurrentes o transitorios.
Para una cadena de Markov infinita , cualquier conjunto de estados irreductible (accesible mutuamente) es todo transitorio, todo positivo recurrente o todo nulo recurrente. La caminata aleatoria 1-d con p = 0.5 es un ejemplo de que cada estado es nulo recurrente. Para una caminata aleatoria con p! = 0.5, cada estado es transitorio.
