Introducción a Procesos Estocásticos José Antonio Camarena Ibarrola Procesos Estocasticos Se encargan de la dinámica de las probabilidades mediante una generalización del concepto de variable aleatoria con el objetivo de incluir el tiempo Una variable aleatoria X mapea un evento s del espacio muestral a un valor numérico X(s) En un proceso estocástico un evento s, en un instante t se mapea a un valor numérico X(t,s) Si t se deja fijo, X(s) depende solo de s, es decir, un proceso estocástico es una variable aleatoria para cada instante específico. Si s se deja fijo se tiene una función del tiempo X(t) X(t,s) se puede ver como una colección de funciones del tiempo, una para cada s Clasificación de procesos estocásticos Los valores de X(t,s) son llamados estados del proceso estócástico y el conjunto de todos los posibles valores de X(t,s) forman el espacio de estados E. t є T Procesos estocasticos de tiempo contínuo (T es un intervalo de números reales) Procesos estocásticos de tiempo discreto (T es un conjunto numerable) Procesos estocásticos de estado contínuo (El espacio de estados E es contínuo) Procesos estocásticos de estado discreto (E es discreto) Caracterización de un proceso estocástico En lo sucesivo representaremos el proceso estocástico X(t,s) como X(t) (suprimimos s) Un proceso estocástico queda completamente caracterizado por su Función de Distribución Acumulada ((CDF) conjunta, sea: F X ( x 1 ,t 1)=F X ( x 1 )= P [ X ( t 1 )≤ x 1 ] F X ( x 2 , t 2)=F X ( x 2)=P [ X (t 2 )≤ x 2 ] F X ( x n , t n)=F X ( x n)=P [ X (t n )≤ x n ] 0<t 1<t 2 <...<t n Caracterización de un proceso estocástico Un proceso estocástico de tiempo contínuo queda completamente caracterizado mediante: F X (x 1 , x 2 , ... , x n ,t 1 , t 2 ,... , t n)=P [ X (t 1)≤ x 1 , X (t 2 )≤ x 2 ,... , X (t n)≤ x n ] Similarmente, si el proceso estocástico es de tiempo discreto, lo podemos caracterizar mediante una colección de funciones de distribución de probabilidad : p X ( x1 , x 2 ,... , x n , t 1 , t 2 , ... , t n )= P [ X 1= x 1 , X 2= x 2 ,... , X n= x n ] Procesos de Markov Se denomina proceso de Markov de primer orden a un proceso estocástico en el cual: P[ X (t n )≤ x n | X (t n−1 )=x n−1 , X (t n−2)=x n−2 ,... , X (t 0)=x 0 ]=P [ X (t n )≤ x n | X (t n−1)=x n−1 ] Es decir, dado el estado actual del proceso, el estado futuro no depende del pasado, esta propiedad se conoce como la propiedad de Markov En un proceso de Markov de segundo orden, el estado futuro depende del estado actual y del anterior y así sucesívamente Tipos de Procesos de Markov Un proceso de Markov puede ser de estado discreto o de estado continuo A los procesos de Markov de estado discreto se les conoce como Cadenas de Markov Un proceso de Markov puede ser de tiempo discreto o de tiempo continuo 1.Cadenas de Markov de tiempo discreto 2.Cadenas de Markov de tiempo contínuo 3.Procesos de Markov de tiempo discreto 4.Procesos de Markov de tiempo contínuo Estructura de un proceso de Markov Un proceso que hace transiciones entre estados en instantes fijos o aleatorios El sistema entra a un estado y se queda un tiempo denominado tiempo de espera, despues de el cual cambia a otro estado y se queda otro tiempo de espera, etc. En un proceso explosivo puede haber un número infinito de transiciones en un intervalo infinito Un proceso no-explosivo es denominado puro Proceso de Wiener No todo proceso físico puede ser modelado por una cadena de Markov de tiempo discreto y estado discreto Un ejemplo de proceso de tiempo contínuo y estado contínuo es el Movimiento Browniano En 1828 el Botánico Robert Brown observó partículas de polen suspendidas en fluído que se movían de manera irregular y aleatoria En 1900, Bachelier escribió su teoría matemática de especulación y usó el movimiento browniano para modelar el precio de las acciones En 1905 Einstein escribió ecuaciones para e, movimiento browniano En 1923 Wiener lo modeló como un proceso estocástico al que llamó Proceso de Wiener Proceso de ramificación. Un ejemplo de proceso de Markov de tiempo discreto Considere un sistema que consiste inicialmente de un conjunto finito de elementos. Al pasar el tiempo, cada elemento puede desaparecer con probablididad P 0 O bien puede producir k nuevos elementos con probabilidad P k El comportamiento de cada elemento nuevo es similar al del padre que lo produjo Si X n denota el tamaño de la población despues de n eventos, el proceso { X n |( n>0)} es una cadena de Markov denominada Proceso de ramificación Aplicaciones a Procesos de ramificación Crecimiento de una población Esparcimiento de una epidemia Fisión Nuclear Mobilidad Social. Una aplicación de cadenas de Markov Sociólogos [Prais,1955] han utilizado cadenas de Markov para modelar como la clase social del padre, del abuelo, etc. Afectan la clase social de una persona El modelo considera tres estados, clase alta, clase media y clase baja Una vez determinadas las probabilidades de transición se pueden usar para modelar la mobilidad social mediante una cadena de Markov Procesos de Decisión de Markov Sirven para modelar sistemas dinámicos con incertridumbre en donde el estado es función del tiempo El proceso requiere de un agente que tome una serie (secuencia) de decisiones a medida que transcurre el tiempo Cada decisión tiene una consecuencia, puede tener una ganancia o un costo El objetivo es encontrar la secuencia óptima de acciones que maximize la recompensa esperada para un intervalo dado (finito o infinito) Aplicaciones de procesos de Markov de tiempo contínuo Un sistema de encolamiento consiste de uno o mas servidores que atienden a clientes que llegan de manera aleatoria Si un cliente llega cuando hay al menos un servidor desocupado es atendido si que tenga que esperar Si al llegar un cliente, todos los servidores están ocupados, entonces deberá esperar a ser atendido de acuerdo a una política (Ej FIFO) Sea n el número de clientes en el sistema El proceso de arrivo se considera un proceso de Poisson El tiempo de servicio tiene distribución exponencial El proceso { n| n=0,1,. ..} es una cadena de Markov Sistemas de almacenamiento estocástico Un recurso se mantiene almacenado hasta que es solicitado (Sistemas de inventario, Reclamos de seguros, etc) Las solicitudes son aleatorias Sea c la capacidad de almacenamiento En cada periodo n hay una demanda de Dn unidades Yn denota el stock residual depues del periodo n Si la política establece que el almacen se llene al inicio del periodo n+1 cada vez que Yn<m (m umbral dado) Y n+1=max( 0, c−D n+1 ) ; Y n<m Y n+1=max( 0,Y n −D n+1) ;Y n >m Si D1, D2,... son iid entonces {Y n | ( n>0)} es una cadena de Markov