CADENAS DE MARKOV DE PARÁMETRO CONTINUO Rosario Romera Febrero 2009 1. Nociones básicas Para las cadenas de Markov con parámetro de tiempo discreto hemos visto que la matriz de transición en n etapas puede ser expresada en términos de la matriz de transición en una etapa P . En el caso continuo el papel homólogo a la matriz de transición P lo juega, considerando unidades in…nitesimales de tiempo entre transiciones, dt, una matriz Q llamada de tasas de transición, to generador in…nitesimal de la cadena. De…nición El proceso estocástico fXt gt 0 , con conjunto de estados numerable S Z+ es una Cadena de Markov con parámetro de tiempo continuo si 8s; t 0, y 8i; j, tales que Xk 2 Z+ se cumple que: P (Xt+s = j=Xs = i; Xk = xk De…nición El proceso estocástico fXt gt 0 ; 0 k < s) = P (Xt+s = j=Xs = i) es una Cadena de Markov homogénea. Si: P (Xt+s = j=Xs = i) = P (Xt = j=X0 = i) 8s 0 Observación Si i = variable aleatoria “tiempo en el estado i hasta transición al estado j, con j 2 S, y j 6= i”, entonces: P( esto es, i i > s + t= i > s) P( es Markoviana lo cual implica que i i > t) 8s; t 0 es Exponencial. Observación: Caracterización de una Cadena de Markov con parámetro continuo Toda Cadena de Markov con parámetro continuo cada vez que entra en un estado i 2 S veri…ca 1 1. exp(vi ), esto es, la distribución del tiempo que permanece antes de transitar a i otro estado es exponencial. 2. cuando abandona P el estado i, si pij = P (transitar a j/ el proceso está en i), entonces veri…ca que: pij = 1 j6=i Para realizar el estudio distribucional de la cadena, vamos a introducir el concepto de transición instantánea (en un intervalo in…nitesimal) y la probabilidad de que ello suceda. De…nición: Tasas de Transición Probabilidad instantánea con la que el proceso realiza una transición de los estados i ! j, dada por: qij = i pij 8i 6= j P Observación: i = qij 8i j De…nicion: Un estado i 2 S se llama absorbente si i = 0, estable si 0 < instantáneo si i = P1. Si i < 1 y i = j6=i qij entonces el estado i se llama estable o regular. i < 1, Comentario 1. La tasa de Permanencia en el estado i viene representada por qij que será un valor negativo porque la probabilidad de permanecer en el mismo estado decrece al aumentar t. 2. Se impone 0 i < 1, esto es, se excluyen estados instantáneos con i = 1. 3. Se dice que fXt gt 0 es Cadena Markov regular si el número de transiciones en tiempo …nito es una cantidad …nita. Contraejemplo: pi , i + 1 = 1 con i = i2 Para realizar el estudio distribucional de la cadena, vamos a introducir el concepto de transición instantánea (en un intervalo in…nitesimal) y la probabilidad de que ello suceda. De…nición: Probabilidades de transición en tiempo t Denotaremos la probabilidad de transición del estado i al estado j en un intervalo de longitud t, donde s; t 0, por pij (t) = P fXt+s = j=Xs = ig; Pij = jjpij (t)jj matriz de transición Lema 1. l mt!0 1 pii (t) t 2. l mt!0 pij (t) t = = qij ( i ; qii ) i 6= j 2 3. Ecuación de Chapman-Kolmogorov en tiempo continuo. Para todos i; j 2 S y para cualquier s; t 0: X pij (t + s) = pik (t) pkj (s) k2S Teorema: Ecuaciones Diferenciales de Kolmogorov Supongamos que i < 1 para cada i 2 S entonces las probabilidades de transición pij (t) son diferenciables para todo t 0 y todos i; j 2 S. Es más: P qik pkj (t) (Backward equation) 1. p0ij (t) = i pij (t) k6=i 2. Pij0 (t) = P qkj pik (t) (Forward equation) j pij (t) k6=j Demostración A partir del apartado 3 del Lema: X pik (u)pkj (t) pij (t + u) pij (t) = [1 pii (u)]:pij (t) k6=i formando el límite del cociente incremental pij (t + u) u!0 u lm pij (t) = :::: = X pik (u) u!0 u pkj (t): l m k6=i Lema: (1) ) X X qik pkj (t) qik pkj (t) + qii pij (t) = p0ij (t) = k6=i ) k Análogamente Lema: (3) ) pij (t + u) pij (t) = X pik (t)pkj (u) pij (t): i (1) BACKWARD [1 pjj (u)]:pij (t) k6=j de donde pij (t + u) u!0 u lm Lema: (1) ) p0ij (t) = X pij (t) = ::: = k6=j pik (t)qkj + pij (t)qjj = k6=j X X k pkj (u) u!0 u pik (t) l m pik (t)qkj ) En términos matriciales P 0 (t) = Q:P (t) (Backward) 3 pij (t) j (2)FORWARD P 0 (t) = P (t):Q (Forward) Las condiciones iniciales para ambos conjuntos de ecuaciones son P (0) = I Formalmente, la solución de los conjuntos de ecuaciones diferenciales de Kolmogorov puede ser dada como: 1 i i X tQ P (t) = eQ:t = i! i=0 Cuando Q es una matriz de dimensión …nita, la serie anterior es convergente y es la única solución para los dos sistemas de ecuaciones. Si Q es de dimensión in…nita no podemos a…rmar nada. Supongamos que Q es un matriz de dimensión …nita y diagonalizable. Supongamos además que 0 ; 1 ; : : : ; n son los valores propios de Q. Entonces existe una matriz A tal que 0 B Q = A: @ y en tal caso 0 B P (t) = A @ 0 .. C A :A . 0 n 0t e 1 0 0 .. . 0 e nt Probabilidades Límite: 1 1 C A :A 1 Una Cadena de Markov con tiempo continuo es un Proceso Semi-Markoviano con exponencial ( i ) para todo i. Entonces Si P = jjpij que i jj es irreducible, aperiódica y recurrente positiva ( ergódica) se deduce ) j pj = l m pij (t) = P t!1 = j i= i i siendo f j g la solución de: = P j = 1 Proceso de Nacimiento y Muerte Es una Cadena de Markov en tiempo continuo con S = Z+ tal que qij = 0, si ji jj > 1. i i Sean: = qi;i+1 , con i = qi;i 1 , con i 0 1 4 Observación: Como i = X ) qij j siendo qij = [ i = i + i] i 6= j, entonces: i pij ; i pi;i+1 = =1 i+ pi;i 1 i Distribución límite: Ecuaciones de balance 0 p0 = p n n = ) 1 p1 n 1 pn 1 + n+1 pn+1 n pn ya que: ESTADO TASA ABANDONO 0 0 p0 n>0 ( n + n )pn TASA INGRESO 1 p1 p + n 1 pn 1 n+1 n+1 Resolviendo las ecuaciones de balance: 0 p1 = p0 1 ::: = ::: n n si X pj = 1 j ) Ejemplos: ::: 1::: n 1 n 2 pn = 8 > > < ) 1 0 :p0 2 1 1 = p0 + p0 1 X ::: n::: n 1 1 p0 = 1 P 1 nQ1 > > : pn = con 1 2 ::: n i=0 i i=0 con p0 1. Cola M/M/1 n = , n = si = < 1 su distribución límite es Geom 2. Cola M/M/s Proceso de Nacimiento y Muerte con n = n n s 5 = 1 1 P 1 Qn Es Proceso de Nacimiento y Muerte con 1 1 0 1 ::: n 1 i= 0 con n > 0 n s n>s <1 n>1 3. Cola M/M/1/N Sean n = con n 1 n = (N n) n N 0 n>N Ejemplo Una máquina puede fallar a causa de dos situaciones diferentes. La probabilidad de que la máquina falle en el intervalo de tiempo (t; t + h) a causa de cualquiera de las dos situaciones es en cada caso h + o(h). Luego de la falla la máquina es reparada. El tiempo que dura la reparación es una variable aleatoria con distribución exponencial con parámetro . Calcular la probabilidad de que en el tiempo t la máquina se encuentre funcionando. Solución Xt = .estado de la máquina en el tiempo t". (Xt )t es una cadena de Markov con conjunto de estados S = f0; 1; 2g donde estado 0: "máquina funciona" estado 1: "máquina fuera de servicio a causa de la primera situación" estado 2: "máquina fuera de servicio a causa de la segunda situación" En este caso tenemos como generador in…nitesimal de la cadena a la matriz: 0 1 2 0 A Q=@ 0 De donde p00 (t) = 1 +2 e t 6 con =2 +