Los procesos de envenenamiento, y la distribución de probabilidad de Poisson, son un componente clave de las cadenas de Markova de tiempo continuo.
Una cadena de Markov, en general, es una forma de describir lo que podría considerarse como el movimiento de un objeto desde una posición, o “estado”, hacia otra. Según el estado actual del objeto, cualquier otro estado al que pueda moverse a continuación tiene una probabilidad específica asociada. De esta manera, si conoce el estado actual del objeto, puede hacer inferencias sobre la probabilidad de que se mueva a cualquier otro estado posible. Si estas probabilidades cambian dependiendo del paso del tiempo, la distribución de Poisson se puede usar para determinar las probabilidades de los diferentes estados, y esto se hace modelando el movimiento de un objeto entre estados como un Proceso de Poisson. Todo esto puede parecer opaco al principio, pero un poco de contexto y algunos ejemplos breves lo aclararán.
Comencemos con las cadenas de Markov en general. Los tipos simples de cadenas de Markov se denominan cadenas de Markov discretas y no requieren un seguimiento de la cantidad de tiempo que un objeto permanece en un estado u otro. Un ejemplo breve y de uso frecuente es la suma de varias tiradas de un dado de 6 lados: el “objeto” en este caso es la suma, y los estados son los valores que la suma puede tomar. Si su primera tirada le dio un 6, entonces la suma tiene una probabilidad de 1/6 de pasar del “estado” de 6 a un estado de 7, 8, 9, 10, 11 o 12, y una probabilidad de cero de pasar a cualquier otro estado (ya que si comienzas con una suma de 6 y luego lanzas el dado nuevamente, tu suma no puede ser inferior a 7 o superior a 12).
Tal cadena de Markov es unidireccional, ya que la suma solo aumenta. Sin embargo, los procesos multidireccionales también se pueden modelar fácilmente con cadenas discretas. Para ilustrar con otro ejemplo clásico, digamos que arrojó una moneda en un juego, donde ganó $ 1 cada vez que aterrizó en cara y perdió $ 1 cada vez que aterrizó en cruz. La suma de sus ganancias podría ser descrita por una cadena de Markov como la suma de las tiradas del dado: si su “estado” actual en el juego es $ 7, entonces si la moneda está bastante ponderada, tiene una probabilidad de 1/2 de pasar a un estado de $ 6 u $ 8. (una nota: este tipo de escenario se llama en realidad Random Walk. Ha sido estudiado por estadísticos y matemáticos durante siglos, y tiene una serie de propiedades interesantes relacionadas con las cadenas de Markov. El artículo de Wikipedia sobre Random Walks proporciona una visión general decente si usted querer aprender más).
En las Cadenas de Markov que describí anteriormente, la probabilidad de que nuestro “objeto” se mueva a un nuevo estado no cambia dependiendo de cuánto tiempo permanezca en su estado actual. Si lanzamos un dado ocho veces y llegamos a una suma de 30, la probabilidad de llegar al 31 no cambia si nos alejamos durante 5 minutos antes de hacer el siguiente lanzamiento. Sin embargo, hay procesos para los cuales el paso del tiempo es muy importante. Si usted es un barista, por ejemplo, la cantidad de clientes que esperan en la cola para un café con leche podría cambiar drásticamente dependiendo de cuánto tiempo le tomó completar cada pedido. Si fueras mecánico, la cantidad de autos en tu taller de reparación cambiaría dependiendo de cuánto tiempo llevaras repararlos. Si trabajaste en una oficina y te alejaste de tu computadora, la cantidad de correos electrónicos no respondidos en tu bandeja de entrada sería muy diferente dependiendo de cuánto tiempo te llevó regresar. Todos estos son ejemplos de lo que se llaman cadenas de Markov de tiempo continuo, y cada uno puede modelarse representando el paso de un estado a otro como un proceso de Poisson.
Por sí solo, una distribución de Poisson describe la probabilidad de que ocurra un evento después de un período de tiempo determinado, t. Utiliza un único parámetro, lambda, que expresa la tasa promedio a la que ocurre el evento. Un evento o proceso recurrente, cuya probabilidad sigue a esta distribución se llama Proceso de Poisson con tasa lambda. Para clasificar completamente algo como un Proceso de Poisson, hay algunos criterios que deben cumplirse, sin embargo, los más relevantes para las Cadenas de Markov son la invariancia de turnos y los tiempos de llegada independientes. La invariancia de cambio significa que la probabilidad de que ocurra un evento dentro de un período de tiempo determinado, t, no cambia según el punto en el que comienza a contar el tiempo; la probabilidad de que ocurra un evento en el lapso de una hora no cambia si esa hora es de 1 p.m. a 2 p.m. o de 8 a.m. a 9 a.m. Los tiempos independientes entre llegadas indican que una vez que un evento en un Proceso de Poisson ha ocurrido una vez, la probabilidad de que ocurra por segunda vez se puede modelar utilizando la misma distribución de Poisson, como si el tiempo comenzara desde t = 0 después del primer evento: el Poisson El proceso comienza desde cero después de cada ocurrencia.
Ahora, ¿cómo se relaciona esto con las cadenas de Markov? Digamos que el objeto que está modelando con su cadena es el número de clientes que esperan en la fila una porción de pizza. Hay algunas tasas que afectarán este número. Existe la tasa a la que las personas se presentan en la pizzería, y la tasa a la que la persona detrás del mostrador llena cada pedido, y la tasa a la que las personas se hartan mientras esperan y llevan sus negocios a otra parte. Si se puede considerar que cada una de esas tasas expresa un Proceso de Poisson, entonces todo el sistema se puede modelar como una Cadena de Markov de tiempo continuo, de modo que el número de personas que esperan en la fila depende del paso del tiempo (es decir, qué tan rápido las personas aparecer, los pedidos se completan y la gente deja la línea). Según este modelo, el número de personas que esperan en la fila (es decir, el estado de su objeto) después de un período de tiempo determinado, t, se puede expresar en función de las tasas de los tres procesos de Poisson que afectan ese número.
El modelo descrito anteriormente es en realidad un “sabor” de un conjunto de modelos llamados procesos de Nacimiento y Muerte. Hay muchas, muchas iteraciones de tales modelos, algunas que usan múltiples estaciones de servicio, otras que tienen estaciones secuenciales y otras que tienen múltiples puntos de abandono, y en realidad se pueden adaptar para abarcar una buena cantidad de complejidad. También hay una serie de fórmulas asociadas con dichos modelos que le darán el estado de dichos sistemas en un momento dado, así como el estado en el que se esperaría que el sistema permanezca después de un tiempo infinito . No voy a entrar en esto aquí, pero se pueden encontrar en una serie de libros de texto que tratan sobre modelos de probabilidad en general, y procesos estocásticos en particular (una cadena de Markov es una de una familia de modelos asociados con procesos estocásticos) . Introducción a los modelos de probabilidad de Sheldon Ross es un gran comienzo en este tema.
Como nota al margen, hay varias formas en que las cadenas de Markov de tiempo continuo pueden ser útiles para aplicaciones de la vida real en los negocios. Siguiendo con el ejemplo de la pizza, puede usar generadores de números aleatorios de Poisson para simular el movimiento de personas dentro y fuera de la pizzería. También puede llevar el límite al infinito de todo el sistema y determinar el número promedio de personas que siempre estarán esperando en la cola para la pizza. Cada uno de estos ejercicios le dirá diferentes cosas sobre la operación del negocio y dónde se pueden obtener eficiencias para que se pueda vender más pizza y / o menos clientes se alejen descontentos. Si su modelo le dijo que, en promedio, siempre hay cinco personas en línea en un momento dado, tal vez podría ofrecer algunas muestras gratuitas mientras esperan e intentan reducir la tasa de devolución. Tal vez descubra que los clientes se están presentando a un ritmo mucho más rápido que el que puede servirles, y existe la oportunidad de agregar otro horno de pizza y expandir el negocio. La estacionalidad probablemente tendría un impacto, y tal vez tendrías que diseñar diferentes modelos de Markov para el verano frente al invierno. Para el incipiente estadista-restaurantero, las posibilidades siguen y siguen.
Todo eso significa que existe un vínculo muy fuerte entre las cadenas de Markov y los procesos de Poisson. Su teoría y aplicación se vuelven bastante profundas y hacen una lectura muy interesante … si te gusta ese tipo de cosas.