Maestría en Bioinformática Probabilidad y Estadística: Clase 8

Reversión temporal
Probabilidades de absorción
Maestrı́a en Bioinformática
Probabilidad y Estadı́stica: Clase 8
Gustavo Guerberoff
gguerber@fing.edu.uy
Facultad de Ingenierı́a
Universidad de la República
Mayo de 2010
Reversión temporal
Contenidos
1
Reversión temporal
Cadena reversa
Cadenas reversibles
1
Probabilidades de absorción
Ejemplo
Probabilidades de absorción
Reversión temporal
Probabilidades de absorción
Cadena reversa
Consideremos una cadena de Markov con matriz de transición
P que admite una distribución estacionaria ν tal que νi > 0
para todo i ∈ E.
Con esto construimos una matriz Q de manera que sus
elementos cumplan la condición:
νi qij = νj pji ,
para cada i, j ∈ E.
Observación: La matriz Q es una matriz estocástica. En
efecto, qij ≥ 0 para todo i, j ∈ E, y además sus filas suman 1:
X
qij =
j∈E
para cada i ∈ E.
X νj
j∈E
νi
pji =
1X
ν
νj pji = i = 1,
νi
νi
j∈E
Reversión temporal
Probabilidades de absorción
Interpretación: Consideremos la cadena de Markov con
matriz de transición P y supongamos que el estado inicial es
π (0) = ν. En tal caso, sabemos que:
P(Xn = i) = νi .
Ahora calculemos, usando la fórmula de Bayes:
P(Xn = j|Xn+1 = i) =
=
P(Xn+1 = i|Xn = j)P(Xn = j)
P(Xn+1 = i)
pji νj
= qij .
νi
De manera que Q es la matriz de transición de la cadena inicial
cuando se invierte el sentido del tiempo.
Reversión temporal
Probabilidades de absorción
El siguiente es un resultado que puede ser de utilidad para
encontrar distribuciones estacionarias de una manera sencilla.
Lema
Consideremos una cadena de Markov con espacio de estados
E y matriz de transición P. Demotemos µ a una medida de
probabilidad sobre E y supongamos que existe una matriz
estocástica Q tal que cumple:
µi qij = µj pji ,
para cada i, j ∈ E. Entonces µ es una distribución estacionaria
de P.
Reversión temporal
Probabilidades de absorción
Demostración: Para cada i ∈ E sumamos sobre j a ambos
lados de la igualdad:
X
µi qij =
X
j∈E
Usando que
P
j∈E
µj pji .
j∈E
qij = 1 queda, para cada i ∈ E:
µi =
X
µj pji ,
j∈E
y por lo tanto µ es una distribución estacionaria para P.
Reversión temporal
Probabilidades de absorción
Cadenas reversibles
Definición
Decimos que una cadena de Markov con distribución inicial ν
(una distribución estacionaria) es reversible si se cumple:
νi pij = νj pji ,
para cada i, j ∈ E.
En tal caso P = Q, y la cadena original y la de tiempo reverso
describen el mismo proceso.
Reversión temporal
Probabilidades de absorción
Las ecuaciones νi pij = νj pji se llaman ecuaciones de balance
detallado (a diferencia de las ecuaciones
que definen una
P
distribución estacionaria, νi = j∈E νj pji , que se llaman
ecuaciones de balance global) y sirven como criterio para
encontrar distribuciones estacionarias.
Observación: Los modelos de sustitución de nucleótidos de
Jukes-Cantor, Kimura, Hasegawa-Kishino-Yano son procesos
reversibles (verificar como ejercicio).
Reversión temporal
Probabilidades de absorción
Probabilidades de absorción: Ejemplo
A continuación ilustraremos con un ejemplo cómo se calculan
las probabilidades de absorción cuando se estudia una cadena
de Markov con estados abosrbentes.
La ruina del apostador: Consideremos el conjunto
E = {0, 1, 2, . . . , G}, con G fijo, donde cada estado representa
el posible capital de un apostador que juega en un casino.
Supongamos que la probabilidad de ganar en una apuesta es
p y que la probabilidad de perder es q = 1 − p; suponemos que
en cada apuesta el jugador gana ó pierde una unidad de
dinero. Xn registra el capital del apostador al tiempo n.
Reversión temporal
Probabilidades de absorción
El proceso se define como sigue:
Si en el tiempo n el capital es un número del conjunto
{1, 2, 3, . . . , G − 1}, entonces en el tiempo n + 1 el capital
del apostador aumenta una unidad con probabilidad p
ó disminuye una unidad con probabilidad q.
El apostador deja de apostar cuando alcanza la ganancia
G ó cuando su capital es 0. Estos estados pueden verse
como estados absorbentes.
Para cada i ∈ E denotamos: wi = probabilidad de que el
jugador llegue a ganar G (antes de perder todo) si comienza
con una ganancia inicial i.
Reversión temporal
Probabilidades de absorción
Observemos que las cantidades w0 , w1 , w2 , . . . , wG satisfacen
el siguiente sistema de ecuaciones lineales:
wi = pwi+1 + qwi−1 , para i = 1, 2, . . . , G − 1.
w0 = 0.
wG = 1.
Esto define un sistema de ecuaciones de recurrencia.
Hacemos aquı́ un paréntesis para mostrar cómo se resuelve un
sistema de este tipo.
Reversión temporal
Probabilidades de absorción
Ecuaciones de recurrencia
Un sistema de ecuaciones de recurrencia (de orden 2) con
coeficientes constantes en un sistema de ecuaciones de la
forma:
axi+2 + bxi+1 + cxi = 0,
donde i = 0, 1, 2, . . ., y a, b, c son constantes.
Buscamos una solución de la forma: xi = λi , con λ a
determinar.
Reemplazando en las ecuaciones de recurrencia obtenemos:
aλi+2 + bλi+1 + cλi = λi (aλ2 + bλ + c) = 0.
Reversión temporal
Probabilidades de absorción
De aquı́ resulta la ecuación caracterı́stica para el parámetro λ:
aλ2 + bλ + c = 0,
cuyas soluciones son:
√
b2 − 4ac
.
2a
Es preciso considerar dos casos, dependiendo de si las dos
raı́ces son iguales o distintas.
λ1,2 =
−b ±
Caso 1: λ1 6= λ2 (esto es, b2 − 4ac 6= 0). En tal caso la
solución general del sistema de ecuaciones es:
xi = Aλi1 + Bλi2 , i = 0, 1, 2, . . .
Reversión temporal
Probabilidades de absorción
Caso 2: λ1 = λ2 (esto es, b2 − 4ac = 0). En tal caso la
solución general del sistema de ecuaciones es:
xi = Aλi1 + B iλi1 , i = 0, 1, 2, . . .
En ambos casos, los valores de A y B se calculan a partir de
las condiciones de contorno.
Reversión temporal
Probabilidades de absorción
Ejemplo (continuación)
Volvemos ahora al ejemplo de la ruina del apostador.
Escribimos las ecuaciones para las probabilidades de
absorción en la forma:
pwi+2 − wi+1 + qwi = 0 , i = 0, 1, 2, . . .
Buscando una solución de la forma wi = λi obtenemos la
ecuación caracterı́stica:
pλ2 − λ + q = 0,
cuya solución es:
λ1,2 =
1±
p
1 − 4pq
1 ± |p − q|
=
.
2p
2p
Reversión temporal
Probabilidades de absorción
Caso 1: p 6= q. En tal caso λ1 = 1, λ2 = qp , y la solución es:
i
q
wi = A + B
p
,
i = 0, 1, 2, . . . , G.
De las condiciones de contorno w0 = 0 y wG = 1 se obtiene:
A=
1−
1
G
q
p
, B=−
1−
1
G .
q
p
Finalmente queda:
1−
wi =
1−
i
q
p
G , para i = 0, 1, 2, . . . , G
q
p
Reversión temporal
Probabilidades de absorción
Caso 2: p = q. En tal caso λ1 = λ2 =
1
2p
= 1, y la solución es:
wi = A + B i , i = 0, 1, 2, . . . , G.
De las condiciones de contorno w0 = 0 y wG = 1 se obtiene:
A=0 , B=
1
.
G
Finalmente queda:
wi =
i
, para i = 0, 1, 2, . . . , G
G