Clase 7 - Pedeciba

Condiciones de ergodicidad
Tiempos de retorno
Maestrı́a en Bioinformática
Probabilidad y Estadı́stica: Clase 7
Gustavo Guerberoff
gguerber@fing.edu.uy
Facultad de Ingenierı́a
Universidad de la República
Abril de 2010
Condiciones de ergodicidad
Contenidos
1
Condiciones de ergodicidad
Clasificación de estados
Cadenas irreducibles
Perı́odo de un estado
Cadenas aperiódicas
1
Tiempos de retorno
Estados recurrentes y transitorios
Tiempos de retorno
Condiciones de ergodicidad
Tiempos de retorno
Recordemos que el estado al tiempo n de una cadena de
Markov con matriz de transición P y estado inicial π (0) es:
π (n) = π (0) P n .
Por otra parte:
Una distribución estacionaria de la cadena de Markov con
matriz de transición P es una medida de probabilidad ν que
cumple:
ν = νP.
En esta clase veremos qué condiciones garantizan que la
cadena de Markov tiene una única distribución estacionaria, ν,
y que además se cumple:
lı́m π (n) = ν,
n→∞
para cualquier estado inicial π (0) .
Condiciones de ergodicidad
Tiempos de retorno
Clasificación de estados
Definición
Consideremos una cadena de Markov con espacio de estados
E.
Decimos que el estado j ∈ E es asequible desde el estado
(n)
i ∈ E si existe n ≥ 0 tal que pij > 0 (esto es, es posible ir
de i a j en un número finito de pasos).
Si el estado j es asequible desde el estado i e i es
asequible desde j, decimos que los estados i y j se
comunican, y lo denotamos i ↔ j.
Observación: La relación entre estados ↔ es una relación de
equivalencia. Esto es, se verifican las siguientes propiedades:
i) (Reflexividad) i ↔ i.
ii) (Simetrı́a) Si i ↔ j entonces j ↔ i.
iii) (Transitividad) Si i ↔ j y j ↔ k entonces i ↔ k.
Condiciones de ergodicidad
Tiempos de retorno
Con esta relación de equivalencia, el espacio de estados queda
dividido en clases de comunicación, C1 , C2 , C3 , . . .: Cada
estado está en una y en sólo una de esas clases, y todos los
elementos de una clase se comunican entre sı́. Estas clases se
obtienen fácilmente del grafo asociado a la cadena de Markov.
Observemos que es posible pasar de una clase a otra distinta
(en tal caso las clases son asequibles en un sentido pero no en
el otro, de lo contrario no serı́an dos clases distintas).
Decimos que un conjunto
P C ⊂ E es un conjunto cerrado si para
cada i ∈ C se cumple j∈C pij = 1. Esto generaliza la noción
de estados absorbentes: si el proceso alcanza un conjunto
cerrado entonces no puede salir de él.
Condiciones de ergodicidad
Tiempos de retorno
Cadenas irreducibles
Definición
Una cadena de Markov es irreducible si hay una única clase de
comunicación (esto es, si todos los estados se comunican
entre sı́).
Propiedad
Si una cadena es irreducible y el espacio de estados E es
finito entonces existe una única distribución estacionaria.
Observación: Lo anterior no se cumple en general cuando E
es infinito. Por ejemplo, el paseo aleatorio en Z es una cadena
irreducible que no tiene ninguna distribución estacionaria.
Condiciones de ergodicidad
Tiempos de retorno
Perı́odo de un estado
Para un estado i ∈ E consideramos el conjunto:
(n)
{n ≥ 1 : pii > 0}. Este conjunto está formado por los
eventuales tiempos de retorno al estado i.
Definición
El perı́odo del estado i, di , se define de la siguiente manera:
(n)
di = Máximo Común Divisor del conjunto {n ≥ 1 : pii
> 0}.
Definición
Una cadena de Markov es aperiódica si di = 1 para todo i ∈ E.
Condiciones de ergodicidad
Tiempos de retorno
Observaciones:
Notar que si se cumple pii > 0 para cada i ∈ E entonces la
cadena es aperiódica.
Se prueba que todos los estados en una misma clase de
comunicación tienen el mismo perı́odo (se dice que el
perı́odo es una propiedad de clase). De manera que para
verificar que una cadena irreducible es aperiódica basta
con ver que di = 1 para algún i ∈ E.
A continuación enunciamos un resultado fundamental de la
teorı́a de cadenas de Markov (en su versión más sencilla, que
corresponde a un espacio de estados finito).
Condiciones de ergodicidad
Tiempos de retorno
Teorema
Consideremos una cadena de Markov con espacio de estados
finito. Si la cadena es irreducible y aperiódica entonces existe
una única distribución estacionaria, ν, y además se cumple:
lı́m π (n) = ν,
n→∞
para cualquier estado inicial π (0) .
Condiciones de ergodicidad
Tiempos de retorno
Tiempos de retorno
En el caso de que el espacio de estados sea infinito se
requiere un análisis más cuidadoso. A continuación
introducimos una serie de conceptos y resultados que son
válidos en el caso general.
Definición
El tiempo de retorno al estado i ∈ E es la variable aleatoria
definida por:
Ti = ı́nf{n ≥ 1 : Xn = i}.
En el caso de que Xn 6= i para todo n ≥ 1 se define Ti = ∞.
A continuación introducimos los conceptos de estados
recurrentes y transitorios.
Condiciones de ergodicidad
Tiempos de retorno
Estados recurrentes y transitorios
Decimos que el estado i ∈ E es recurrente si se cumple
P(Ti < ∞|X0 = i) = 1.
Decimos que el estado i ∈ E es transitorio si se cumple
P(Ti < ∞|X0 = i) < 1.
Decimos que el estado i ∈ E es recurrente positivo si es
recurrente y además
E(Ti |X0 = i) < ∞.
Decimos que el estado i ∈ E es recurrente nulo si es
recurrente y además
E(Ti |X0 = i) = ∞.
Condiciones de ergodicidad
Tiempos de retorno
Observaciones:
Cuando E es finito entonces todos los estados recurrentes
son recurrentes positivos.
Si dos estados están en la misma clase de comunicación
entonces ó son ambos recurrentes (positivos ó nulos)
ó son ambos transitorios.
El paseo aleatorio en Z es recurrente nulo cuando p =
transitorio cuando p 6= 21 .
1
2
El siguiente resultado proporciona un criterio para determinar
si un estado es recurrente o no:
Teorema
El estado i ∈ E es recurrente si y sólo si
(n)
n=0 pii
P∞
= ∞.
y
Condiciones de ergodicidad
Tiempos de retorno
El siguiente resultado establece una conexión entre recurrencia
y distribuciones estacionarias:
Teorema
Una cadena irreducible es recurrente positiva si y sólo si existe
una única distribución estacionaria ν (que además cumple
νi > 0 para cada i ∈ E).
El siguiente resultado establece una coneción entre tiempos de
retorno y distribuciones estacionarias:
Teorema
Si ν es la única distribución estacionaria de una cadena
irreducible y recurrente positiva entonces se cumple:
νi =
para cada i ∈ E.
1
,
E(Ti |X0 = i)
Condiciones de ergodicidad
Tiempos de retorno
Finalmemente enunciamos un resultado fundamental de
cadenas de Markov, válido para espacios de estados finitos e
infinitos (esto generaliza el resultado enunciado en la página 9):
Teorema
Si una cadena de Markov es irreducible, aperiódica y
recurrente positiva entonces existe una única distribución
estacionaria, ν, y además se cumple:
lı́m π (n) = ν,
n→∞
para cualquier estado inicial π (0) .
La demostración de todos estos resultados puede encontrarse
en el Capı́tulo 3 del libro Markov Chains, de Pierre Brémaud.