Universidad de la República Introducción a los Procesos Estocásticos – Curso 2016 Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino Práctico 2 - parte 1 Cadenas de Markov en tiempo discreto: propiedad de Markov, matriz de transición. Fecha de entrega: viernes 2 de septiembre 1. ([2], p.8) Sea {Xn }n≥0 una cadena de Markov homogénea con distribución inicial π y matriz de transición P. Notación: {Xn }n≥0 ∼ CMH(π, P) . Se define Yn := Xkn , n = 0, 1, . . . para un entero positivo k fijo. Demostrar que {Yn }n≥0 es una cadena de Markov homogénea con distribución inicial π y hallar su matriz de transición. 2. Considere una sucesión de lanzamientos independientes de un dado de seis caras no cargado, y sea Xi la variable aleatoria que corresponde al número que aparece en la cara superior del dado en el i-ésimo lanzamiento, con Xi ∈ {1, 2, 3, 4, 5, 6} . Se define Yn := máx Xi . 1≤i≤n Mostrar que {Yn }n≥1 es una cadena de Markov y hallar su matriz de transición P. 3. Considere el problema de la ruina del jugador. Suponga que el capital inicial del jugador A es $5 y que el capital total S es $9. En cada etapa del juego el jugador A gana $1 con probabilidad 0.45, o pierde $1 con probabilidad 0.55. Hallar el capital esperado del jugador A al cabo de tres etapas del juego, y al cabo de cuatro etapas del juego. 4. Considere un paseo al azar sin restricciones en Z en el cual la probabilidad de una transición del entero k al entero k − 1 es p, la probabilidad de una transición del entero k al entero k + 1 es q, y la probabilidad de quedarse en el entero k es r, con p + q + r = 1 . Hallar la matriz de transición de orden dos de dicho paseo al azar. 1 Universidad de la República Introducción a los Procesos Estocásticos – Curso 2016 Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino 5. ([2], p.8) Sea X0 una variable aleatoria que toma valores en el conjunto numerable S. Sea {Yn }n≥1 una sucesión de variables aleatorias independientes y uniformemente distribuidas en [0, 1], con {Yn }n≥1 independiente de X0 . Considere una función g : S × [0, 1] −→ S y la recurrencia Xn+1 := g(Xn , Yn+1 ). (a) Demostrar que {Xn }n≥0 es una cadena de Markov y expresar su matriz de transición en términos de la función g. (b) Argumentar si todas las cadenas de Markov pueden generarse empleando el procedimiento anterior. 6. ([2], p.9) Sea {Zn }n≥0 una sucesión de variables aleatorias independientes e idénticamente distribuidas, Zi ∼ Ber(p). Se define S0 = 0, Sn := Z1 + · · · + Zn . Determinar en cada uno de los siguientes casos si {Xn }n≥0 es una cadena de Markov: (a) (b) (c) (d) Xn Xn Xn Xn = Zn ; = Sn ; = S0 + · · · + Sn ; = (Sn , S0 + · · · + Sn ) . En los casos en que {Xn }n≥0 es una cadena de Markov, hallar su espacio de estados S y su matrix de transición P. En los casos en que {Xn }n≥0 no es una cadena de Markov, proveer un ejemplo en el cual Pr(Xn+1 = i|Xn = j, Xn−1 = k) no es independiente de k. 7. Escribir un programa en el lenguaje R mediante el cual simular y visualizar la evolución de las trayectorias de una cadena de Markov homogénea con espacio de estados S = {A, B, C, D} , 1 2 1 4 distribución inicial π = 8 , 8 , 8 , 8 y matriz de transición P arbitraria, exceptuando la presencia de estados de absorción. Desarrollar el programa anterior a los efectos de: 2 Universidad de la República Introducción a los Procesos Estocásticos – Curso 2016 Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino (a) chequear que la distribución inicial ingresada por el usuario es una distribución de probabilidad; (b) chequear que la matrix de transición ingresada por el usuario cumpla las propiedades que definen dicha matriz; (c) calcular el número de veces que la cadena visita cada estado al cabo de N transiciones de paso uno. Práctico 2 - parte 2 Cadenas de Markov en tiempo discreto: aplicaciones del método del análisis del primer paso. Fecha de entrega: martes 13 de septiembre 1. ([1], p.112) Sea {Xn }n≥0 una cadena de Markov homogénea que toma valores en el espacio de estados S = {0, 1, . . . , M }, con matriz de transición P = (Pi,j )i,j∈S . (a) Considere los tiempos de primera entrada T0 := inf{n ≥ 0 : Xn = 0} , TM := inf{n ≥ 0 : Xn = M } , y g(k) = Pr(T0 < TM |X0 = k) , k = 0, 1, . . . , M . ¿Cuáles son los valores de g(0) y g(M )? (b) Demostrar, a través del análisis del primer paso, que la función g cumple la relación g(k) = M X j = 1, . . . , M − 1 . Pk,j g(j) , (1) j=0 (c) En esta pregunta, y en las siguientes preguntas de este ejercicio, considere el modelo estocástico de Sewall G. Wright y Ronald A. Fisher (un modelo básico en genética de poblaciones), donde el estado Xn indica el número de individuos en la población al tiempo n, y j M −j M k M −k Pk,j := Pr(Xn+1 = j|Xn = k) = , k, j ∈ S . j M M 3 Universidad de la República Introducción a los Procesos Estocásticos – Curso 2016 Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino Escribir la matrix de transición P en el caso M = 3. (d) Demostrar, a partir de la pregunta (b), que dado que la solución de (1) es única, se cumple que Pr(T0 < TM |X0 = k) = M −k , k = 0, 1, . . . , M . M (e) Sea T0,M := inf{n ≥ 0 : Xn = 0 o Xn = M }, y h(k) = E[T0,M |X0 = k] , k = 0, 1, . . . , M . ¿Cuáles son los valores de h(0) y h(M )? (f) Demostrar, a través del análisis del primer paso, que la función h cumple la relación h(k) = 1 + M X Pk,j h(j) , j = 1, . . . , M − 1 . j=0 (g) Dado M = 3, calcular h(k) = E[T0,3 |X0 = k] , k = 0, 1, 2, 3 . 2. ([1], p.114) Un ratón de laboratorio se encuentra atrapado en un laberinto y, inicialmente, tiene que elegir entre dos posibles direcciones. Si elige ir a la derecha, entonces se paseará en el laberinto durante los siguientes tres minutos y luego volverá a su posición inicial. Si elige ir a la izquierda, entonces con probabilidad 1/3 saldrá del laberinto después de dos minutos, y con probabilidad 2/3 volverá a su posición inicial al cabo de cinco minutos. Asumiendo que el ratón, en todo momento, elige con la misma probabilidad ir a la izquierda o a la derecha, ¿cuál es el número esperado de minutos que permanecerá atrapado en el laberinto? 3. ([2], p.18) Suponga que el capital inicial de un jugador es $2 y que el jugador necesite aumentar rápidamente su capital hasta $10. El jugador participa de un juego con las siguientes reglas: se lanza 4 Universidad de la República Introducción a los Procesos Estocásticos – Curso 2016 Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino una moneda no cargada; si el jugador apuesta a la cara de la moneda que coincide con el resultado del lanzamiento, entonces gana una suma igual a su apuesta, y su apuesta es devuelta; de lo contrario, el jugador pierde lo apostado. El jugador decide adoptar una estrategia en la cual apuesta todo su dinero si tiene $5 o menos, y en otro caso apuesta justo lo suficiente para aumentar su capital, si gana, a $10. (a) Sea X0 = 2, y se indica con Xn el capital del jugador luego de n lanzamientos de la moneda. Demostrar que el jugador logrará su objetivo con probabilidad 1/5. (b) ¿Cuál es el número esperado de lanzamientos hasta que el jugador logre su objetivo o pierda su capital? 4. ([2], pp.18-19, serpientes y escaleras) Considere la siguiente versión del juego de mesa serpientes y escaleras basada en un tablero con nueve cuadrados (imagen extraı́da de ([2], p.18)): En cada turno un jugador lanza una moneda no cargada y mueve su pieza en el tablero uno o dos lugares adelante según el resultado del lanzamiento de la moneda, cara o número, respectivamente. Si la pieza cae en un cuadrado con los pies de una escalera entonces sube hasta lo alto de esta, pero si cae en un 5 Universidad de la República Introducción a los Procesos Estocásticos – Curso 2016 Licenciatura en Estadı́stica Profesores: A. Estramil, M. Scavino cuadrado con la cabeza de una serpiente entonces retrocede al cuadrado con la cola de la serpiente. ¿Cuántos turnos en promedio son necesarios para terminar el juego? ¿Cuál es la probabilidad de que un jugador que ha alcanzado el cuadrado del medio complete el juego sin volver a la casilla 1? 5. ([2], p.19) Sea {Xn }n≥0 una cadena de Markov homogénea que toma valores en el espacio de estados S = {0, 1, . . .}, con probabilidades de transición dadas por 2 i+1 P0,1 = 1, Pi,i+1 + Pi,i−1 = 1, Pi,i+1 = Pi,i−1 , i ≥ 1 . i Demostrar que, si X0 = 0, entonces la probabilidad de que Xn ≥ 1 para todos n ≥ 1 es π62 . Bibliografı́a [1] Nicolas Privault (2013). Understanding Markov Chains. Examples and Applications, Springer Undergraduate Mathematics Series, Springer. [2] James R. Norris (1997). Markov Chains, Cambridge Series on Statistical and Probabilistic Mathematics, Cambridge University Press. 6