La clave para entender un proceso de Markov es entender que no importa cómo llegaste a donde estás ahora, solo importa dónde estás ahora. Puedes decirme cómo llegaste a donde estás ahora si quieres, pero eso no me ayudará a averiguar a dónde irás ahora más que si me dices dónde estás ahora.
¿Es un juego de baloncesto bien modelado por un proceso de Markov? Si le digo que el puntaje es actualmente 68-62 (equipo local ganador) y quedan 3 minutos y el equipo local tiene la pelota, ¿es todo lo que necesita saber para ayudarlo a determinar qué tan probable es que gane cada equipo? ¿Crees en cosas como el “impulso” en los deportes? ¿Creería que es probable que el equipo local gane si supiera que hace 2 minutos era 58-62 (el equipo local pierde)? ¿Qué pasa si, hace dos minutos, fue 68-40 (equipo local ganador)? Esos dos escenarios pintan una imagen muy diferente de cómo llegamos a nuestro puntaje actual. En un caso, el equipo local estaba caído y acaba de avanzar. En el otro caso, el equipo visitante está en medio de un gran regreso. Si cree que la información adicional cambia la probabilidad de que el equipo local gane en cada caso, entonces el proceso NO es Markovian. Si crees que no importa, entonces podría ser Markovian.
¿Qué pasa con un proceso de martingala? La propiedad clave de una martingala es que la media del futuro es igual al presente (independientemente del pasado). Esto es SOLO una declaración sobre la media, no sobre la distribución completa.
- ¿Cuál es el objetivo del análisis de algoritmos?
- ¿Qué es la auditoría de TI y el asesoramiento de TI?
- ¿Cuál es la mejor manera de explicar la desfragmentación en el contexto informático?
- ¿Hay más o menos sexismo en la tecnología (escuelas y empresas) que en el público en general?
- ¿Debo abandonar la escuela de negocios?
Preparemos un juego que sea una martingala pero que no sea Markovian (a menos que expandas mucho el espacio de estado). El juego es así:
El proceso contará cuánto dinero tiene al comienzo de una ronda. Comienza con un mazo de 2000 cartas (mitad rojo y mitad negro). Dé la vuelta a la tarjeta superior, si es roja, me pagará una cantidad, si es negra, le pagaré una cantidad. ¿Cómo decidimos el monto del pago? Volteamos más cartas hasta que el número de tarjetas negras restantes sea igual al número de tarjetas rojas restantes. Luego, el pago es de un dólar por tarjeta extraída para volver a la igualdad. Entonces, por ejemplo, si primero pongo un rojo, debes pagarme algo. Si cambio un segundo negro, volvemos a la igualdad y me pagas $ 1 (ya que tomó un cambio más para volver a la igualdad). Si, en cambio, la secuencia de volteos era roja (me pagas), seguida de R, R, B, R, B, B, R, B, B; luego tomó 9 vueltas más para alcanzar la igualdad, por lo que me pagas $ 9. (Tenga en cuenta que eventualmente DEBEMOS alcanzar la igualdad incluso si tenemos que agotar el mazo dejando 0 rojo y 0 negro). Última regla del juego: si después del pago, el mazo está vacío, barajamos todas las cartas y volvemos. Si no está vacío, vamos de nuevo con la cantidad de cartas que haya en el mazo.
¿Por qué este proceso es una martingala? Porque cada vez que jugamos, el mazo comienza con la misma cantidad de cartas rojas y negras. Entonces, cada vez, hay una posibilidad de 50/50 de que pague / me paguen. Además, la estructura de pago es simétrica, por lo que el cambio esperado en mi bankroll es cero cada vez que jugamos una ronda del juego. La media del futuro es igual a la media del presente independientemente del pasado.
¿Por qué este proceso NO es markoviano? Porque la estructura de pago cambia dependiendo de cuántas cartas quedan en el mazo cuando comienzas la ronda. Inicialmente, hay 2000 cartas, por lo que la variación de los pagos es bastante grande: posiblemente podría ganar $ 1999 en la primera ronda si la primera vuelta es roja y se necesita todo el mazo para volver a igualar. Sin embargo, supongamos que hemos jugado 5 rondas con cada uno de nosotros ganando la misma cantidad de dólares (por lo que estamos en cero neto), y supongamos que nos quedan 10 cartas en el mazo (5 rojas, 5 negras). Ahora, saber cómo llegamos al cero neto sería importante para predecir la distribución de cuánto dinero tendríamos después de la próxima ronda. En promedio, todavía estaríamos en cero neto, pero con solo 10 cartas restantes en el mazo, hay cero probabilidad de que mi bankroll cambie por encima de 9 o por debajo de -9.
(Última nota, este juego también es realmente Markovian, pero necesitas un espacio de estado más grande que solo considerar tu bankroll. Si tu espacio de estado describe no solo cuánto dinero tienes sino también cuántas cartas hay en el mazo al comienzo de la ronda, entonces no necesita saber cómo llegó a un estado para determinar completamente las probabilidades de transición a cualquier otro estado).
