Universidad de la República Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino Introducción a los Procesos Estocásticos – Curso 2016 Práctico 3 - parte 1 Cadenas de Markov en tiempo discreto: clasificación de estados. Fecha de entrega: martes 20 de septiembre 1. Considere la siguiente definición de conjunto de estados cerrado de una CMH: Definición Un conjunto de estados C es cerrado si ningún estado afuera de C es accesible desde un cualquier estado de C. Se observa que si C es cerrado, entonces Pi,j = 0, ∀i ∈ C, j ∈ / C. Demostrar que una clase de comunicación es cerrada si todos sus estados son recurrentes. Concluir que el espacio de estados S de una cadena de Markov finita se particiona como S = T ∪ R1 ∪ · · · ∪ Rm , donde T es el conjunto de estados transitorios y R1 , . . . , Rm son clases de comunicación cerradas de estados recurrentes. Dicha partición es llamada descomposición canónica de S. Los elementos de S se reordenan de manera convencional, de modo que la matriz de transición P quede expresada como una matriz por bloques: T T ∗ R1 0 P = .. .. . . Rm 0 R1 ∗ P1 .. . 0 ··· ··· ··· ... ··· Rm ∗ 0 .. , . Pm donde cada submatriz P1 , . . . , Pm es una matriz estocástica cuadrada que corresponde a una clase de comunicación recurrente cerrada. 2. ([1], p.11) Sea {Zn }n≥0 una CMH con espacio de estados S = {0, 1, 2, 3, 4} y 1 Universidad de la República Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino Introducción a los Procesos Estocásticos – Curso 2016 matriz de transición: 0 1 0 2 1 0 P = 2 0 3 0 4 12 1 0 3 0 4 1 2 0 2 0 0 1 1 4 1 4 1 4 0 0. 1 4 0 0 0 1 2 1 2 0 1 2 (a) Identificar las clases de comunicación de la cadena y representarlas a través del correspondiente grafo dirigido. (b) ¿Cuáles de las clases son cerradas? 3. Sea {Zn }n≥0 una CMH con espacio de estados S = {0, 1, 2, 3, 4} y matriz de transición: 0 0 0 1 0 P = 2 0 3 1 4 1 1 2 3 4 1 4 3 0 0 0 0 0 0 0 0 0 0 0 4 0 2 3 2 . 3 0 0 1 3 1 3 (a) Demostrar que la cadena es irreducible. (b) Hallar el perı́odo de la cadena. 4. ([2], p.128) Sea {Zn }n≥0 una CMH con espacio de estados S = {0, 1, 2, 3, 4, 5} y matriz de transición: 0 1 0 2 1 13 2 0 P= 1 3 6 4 0 5 0 1 0 1 3 0 1 2 0 0 2 3 1 0 4 1 0 3 0 0 1 0 6 1 0 0 0 2 4 0 0 1 0 0 0 5 1 4 0 0 . 1 6 0 1 Universidad de la República Introducción a los Procesos Estocásticos – Curso 2016 Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino (a) ¿Es la cadena reducible? En caso afirmativo, hallar sus clase de comunicación. (b) Identificar los estados recurrentes y transitorios de la cadena. (c) Hallar el perı́odo de cada estado de la cadena. 5. (fecha de entrega: 11 de octubre) Escribir una función en el lenguaje R, cuyo argumento es una matriz cuadrada de orden N + 1, a través de la cual: (a) chequear que la matriz ingresada por el usuario cumple las propiedades que definen una matriz de transición de una CMH con espacio de estados finito S = {0, 1, . . . , N }; (b) obtener una lista con todas las clases de comunicación de la cadena y determinar si son cerradas o menos; (c) clasificar cada estado de la cadena como recurrente o transitorio; (d) expresar la matriz de transición de la cadena en la forma canónica por bloques. Práctico 3 - parte 2 Cadenas de Markov en tiempo discreto: comportamiento a largo plazo y estacionariedad. Fecha de entrega: lunes 26 de septiembre 1. Considere la CMH definida en el ejercicio 3 de la parte 1 del presente práctico. Hallar la distribución estacionaria de la cadena. 2. ([2], p.143) Considere una CMH con matriz de transición A B C D E A 0.6 0.4 0 0 0 B 0.3 0.7 0 0 0 P = C 0.2 0 0.4 0 0.4 . D 0.2 0.2 0.2 0.2 0.2 E 0 0 0 0 1 3 Universidad de la República Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino Introducción a los Procesos Estocásticos – Curso 2016 Hallar lim Pr(Xn = A|X0 = C) . n→∞ 3. Considere una CMH con espacio de estados S y con dos distintas distribuciones estacionarias π 1 = (π 1, i )i∈S y π 2 = (π 2, i )i∈S . Demostrar que π α, i := (1 − α)π 1, i + απ 2, i , i ∈ S es una distribución estacionaria para cada 0 ≤ α ≤ 1, y que a valores distintos de α corresponden distintas distribuciones estacionarias. 4. ([2], p.145) Considere una CMH con matriz de transición A B A 1 0 P = B 0 1 C a b C 0 0 , c con a + b + c = 1. (a) Calcular la potencia Pn para todos n ≥ 2. (b) Averiguar si existe una distribución lı́mite de la cadena. En caso afirmativo, calcular dicha distribución. (c) Hallar el conjunto de las distribuciones estacionarias de la cadena. 5. Considere una CMH con matriz de transición B C A A 0 0.75 0 B 0.5 0 0 P = C 0 0 1 D 0 0 0 E 0.25 0.75 0 4 D 0 0 0 1 0 E 0.25 0.5 0 . 0 0 Universidad de la República Introducción a los Procesos Estocásticos – Curso 2016 Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino (a) Calcular el lı́mite de Pn cuando n → ∞ a través del entorno de programación R, y describir el comportamiento a largo plazo de la cadena. (b) Hallar el conjunto de las distribuciones estacionarias de la cadena. 6. Sea {Zn }n≥0 una CMH irreducible con espacio de estados finito S, matriz de transición P tal que Pi, i = 0 , i ∈ S, y distribución estacionaria π. Se define la matriz Q = ((Qi, j ))i,j∈S como: Qi, i = 1 − ri , Qi, j = ri Pi, j , j 6= i , donde 0 < ri < 1 , i ∈ S. Mostrar que Q es la matriz de transición de una cadena de Markov irreducible con espacio de estados S y distribución invariante π 0 , definida por πi0 ri−1 πi =P , i∈S. −1 r π j j∈S j Se observa que la cadena con matriz de transición Q tiene probabilidad 1 − ri de quedarse en el estado i, y probabilidad ri de no quedarse en i y de acceder a otro estado j según la matriz de transición P. Bibliografı́a [1] James R. Norris (1997). Markov Chains, Cambridge Series on Statistical and Probabilistic Mathematics, Cambridge University Press. [2] Nicolas Privault (2013). Understanding Markov Chains. Examples and Applications, Springer Undergraduate Mathematics Series, Springer. 5