Memoria Máster Antonio Hernández Moreno

UNIVERSIDAD DE GRANADA
DEPARTAMENTO DE ESTADÍSTICA E
INVESTIGACIÓN OPERATIVA
MÁSTER EN ESTADÍSTICA APLICADA
TRABAJO FIN DE MÁSTER
PROCESOS DE LLEGADAS DE MARKOV EN
MODELOS MULTI-ESTADOS: MAP
Antonio Hernández Moreno
2013-2014
TRABAJO FIN DE MÁSTER
PROCESOS DE LLEGADAS DE MARKOV EN
MODELOS MULTI-ESTADOS: MAP
Trabajo realizado por Antonio Hernández Moreno
Vº Bº
Dr. D. Juan Eloy Ruiz Castro
Departamento de Estadística e Investigación Operativa
Universidad de Granada
A Susana y Laura, por vuestra comprensión y paciencia,
por prestarme el tiempo necesario para realizar este trabajo.
V VI ÍNDICE GENERAL
Introducción ................................................................................................................................ IX Capítulo 1. Preliminares ............................................................................................................. 1 1.1. Cadenas de Markov en tiempo continuo ............................................................................ 1 1.2. Producto y suma de Kronecker y tranformadas de Laplace-Stieltjes ............................. 7 1.3. Distribuciones tipo fase ........................................................................................................ 8 Capítulo 2. El proceso de Poisson ............................................................................................ 13 2.1. Introducción ........................................................................................................................ 13 2.2. Definiciones ......................................................................................................................... 13 2.3. Propiedades ......................................................................................................................... 15 2.3.1. Superposición del proceso de Poisson ........................................................................... 16 2.3.2. Descomposición del proceso de poisson ........................................................................ 18 2.4. Medidas de funcionamiento .............................................................................................. 18 Capítulo 3. Proceso de llegadas de Markov (MAP) ............................................................... 19 3.1. Introducción ........................................................................................................................ 19 3.2. Definiciones ......................................................................................................................... 20 3.3. Propiedades de los procesos MAP .................................................................................... 33 3.3.1. Superposición de procesos MAP ................................................................................... 36 3.3.2. Descomposición de procesos MAP ................................................................................ 37 3.4. Medidas de funcionamiento ............................................................................................... 39 3.5. Comparación del proceso de Poisson y MAP .................................................................. 41 Capítulo 4. Proceso de llegadas de Markov en grupo (BMAP) ............................................. 43 4.1. Introducción ........................................................................................................................ 43 4.2. Definiciones ......................................................................................................................... 44 4.3. Propiedades de los procesos BMAP y medidas de funcionamiento ............................... 48 4.3.1. Superposición de procesos BMAP ................................................................................. 51 4.3.2. Descomposición de procesos BMAP .............................................................................. 52 Capítulo 5. Proceso de llegadas de Markov marcadas (MMAP) .......................................... 53 5.1. Introducción ........................................................................................................................ 53 5.2. Definiciones ......................................................................................................................... 54 5.3. Propiedades ......................................................................................................................... 57 5.3.1. Propiedades de superposición y descomposicicón de MMAP ..................................... 59 5.4. Medidas de funcionamiento ............................................................................................... 60 Capítulo 6. Aplicación en fiabilidad ........................................................................................ 65 6.1. Introducción ........................................................................................................................ 65 6.2. Descripción del sistema ...................................................................................................... 67 6.3. Análisis MAP ...................................................................................................................... 71 6.4. Análisis MMAP .................................................................................................................. 75 Apéndice. Sintaxis informática ................................................................................................ 81 Bibliografía ................................................................................................................................ 85 VII VIII INTRODUCCIÓN
Los procesos estocásticos surgen por la necesidad de modelizar fenómenos aleatorios
que evolucionan a lo largo del tiempo. En función de las características de los mismos,
se han determinado distintas clasificaciones bien analizadas, estructuradas y
desarrolladas en los textos. Son muchas las referencias, Ross (1983), Taylor y Karlin
(1994), Kovalenko y otros (1996), donde se presenta el análisis y estudio de procesos
estocásticos como los procesos puntuales, de recuento, de renovación, de Markov,
etcétera. Los procesos estocásticos han sido aplicados en un amplio número de campos
científicos como son economía, teoría de colas, biomedicina con análisis de
supervivencia y fiabilidad en ingeniería.
Cuando se realiza un estudio de un fenómeno mediante procesos estocásticos, las
expresiones que se obtienen en la modelización no son siempre lo suficientemente
manejables para una posterior implementación computacional y aplicación a un
conjunto de datos. En teoría de renovación, por ejemplo, son conocidos los resultados
más o menos complejos, donde la puesta en práctica es muy complicada cuando las
distribuciones implícitas tienen estructura poco manejable. Este hecho hace que el
modelo y las medidas asociadas adquieran expresiones difícilmente interpretables. Lo
deseable es poder obtener modelos cuya estructura generalice otros ya conocidos, de
forma que sean algoritmizables para su posterior implementación computacional y
aplicación.
Un primer caso, muy utilizado en modelización estocástica, es el del proceso de
Poisson (PP). El proceso de Poisson es uno de los más simples procesos de recuento.
Las buenas propiedades de la distribución exponencial, la markovianidad del proceso,
heredada por la no memoria de esta distribución, y su fácil estructura algebraica ha
hecho que este modelo sea centro de muchos estudios en diversos campos.
IX Pero, en la práctica se presentan sistemas a estudiar donde su evolución atraviesa
distintos niveles de comportamiento y deben ser modelizados mediante procesos más
complejos que el de Poisson. Por ejemplo, en el campo de la fiabilidad, un sistema
puede estar operativo atravesando distintos niveles de funcionamiento. Un sistema que
tiene un número finito de razones de funcionamiento se denomina un sistema multiestados.El caso más simple de modelo multi-estados es el de un sistema binario. Son
muchas las situaciones donde un sistema multi-estados es considerado en la vida real.
Así, en medicina se puede considerar un modelo multi-estados para analizar el
comportamiento de una enfermedad que atraviesa múltiples estados, y en fiabilidad es
habitual modelizar sistemas cuyo funcionamiento y reparación atraviesan distintos
niveles. Son muchos los trabajos donde se estudian sistemas complejos multi-estados
como son los dados en Ruiz-Castro (2013, 2014).
En muchas ocasiones es de interés analizar un sistema multi-estados que durante su
evolución sufre distintos eventos que se desean contabilizar obteniendo propiedades del
mismo. Así, por ejemplo, en el campo de la fiabilidad, los sistemas pueden funcionar
atravesando distintos niveles de operatividad hasta que ocurren fallos de distinta
tipología. Este estudio es primordial que se realice de forma que la modelización y sus
medidas asociadas adquieran una estructura algebraico matricial, sean interpretables y
algoritmizables, pudiendo ser tratados de forma asequible para su aplicación.
Los procesos de llegadas markovianas o de Markov (Markovian Arrival Process,
MAP), introducidos por Neuts (1979, 1989), fueron estudiados como una generalización
del proceso de Poisson para analizar de forma algorítmica el comportamiento de
llegadas en sistemas multi-estados. Son muchos los textos donde los procesos de
llegadas de Markov han sido considerados. Neuts (1992) y He (2014) desarrollan un
análisis de los procesos de llegadas de Markov en profundidad presentando sus
propiedades y ejemplos de aplicación. Los MAPs verifican muchas de las buenas
propiedades del proceso de Poisson como se ve a lo largo de esta memoria. Así, la
propiedad de no memoria del proceso de Poisson se mantiene parcialmente para el caso
MAP condicionando a la fase de la cadena de Markov subyacente. Una propiedad
importante de los procesos de llegadas de Markov es que son densos en el conjunto de
los procesos de recuento, es decir cualquier proceso de recuento puede ser aproximado
X mediante un MAP tanto como se desee. Esta propiedad permite analizar sistemas
considerando un proceso de recuento general, de forma bien estructurada, con medidas
obtenidas
mediante
expresiones
algebraico-matriciales,
lo
que
permite
la
algoritmización y aplicación.
Los procesos de llegadas de Markov (MAP) son generalizados mediante los
procesos de llegadas de Markov por lotes o grupos (BMAP). El BMAP es una
generalización de muchos procesos bien conocidos como el de Poisson y el de Poisson
modulado. En este caso se introduce una estructura algebraico-matricial para el análisis
de sistemas multi-estados con llegadas en lotes. Un análisis de los mismos puede verse
en Cordeiro y Kharoufeh (2011). Un estudio de las probabilidades de transición de los
procesos BMAP es desarrollado de forma algorítmica en Neuts y Li (1997).
Una generalización de los procesos BMAP, también estudiados en esta memoria,
son los Procesos de llegadas de Markov con llegadas marcadas (MMAP). En este caso
los eventos que ocurren a lo largo del tiempo son diferentes situaciones que acontecen
sobre el sistema, con distinta interpretación, y que se desean contabilizar. Por ejemplo,
es de interés en fiabilidad analizar el número de fallos y reparaciones a lo largo del
tiempo atendiendo a distinta tipología de los mismos. Un estudio de las propiedades y
ejemplos de aplicación de los MMAP es dado en He y Neuts (1998).
En esta memoria, tras una breve introducción a los procesos estocásticos, se
presentan de forma evolutiva los procesos anteriormente citados (PP, MAP, BMAP,
MMAP), desde el proceso de Poisson hasta el proceso de llegadas de Markov con
llegadas marcadas. Cada uno de ellos generaliza al anterior y es definido desde cuatro
puntos de vista distintos para su interpretación, desde una definición axiomática hasta
una constructivista. Este hecho permitirá comprender en profundidad el comportamiento
interno de los correspondientes procesos. Tras las definiciones se analizan las
principales propiedades y se obtienen las medidas de funcionamiento asociadas a los
distintos modelos, todo ello de una forma algebraico-matricial para su algoritmización.
Un aspecto de interés es la aplicabilidad de los distintos modelos. En la memoria se
presentan distintas aplicaciones en el campo de fiabilidad mostrando la versatilidad de
los procesos llevados a cabo para modelos multi-estados. Se han desarrollado e
XI implementado métodos computacionales para los distintos modelos y sus medidas
asociadas.
XII CAPÍTULO 1
PRELIMINARES
A lo largo del trabajo se van a considerar conceptos referidos a estadística en general,
probabilidad y procesos estocásticos. Obviando los resultados más básicos, en este
capítulo se ofrece una introducción a tres conceptos bien conocidos, como son las
cadenas de Markov en tiempo continuo, la suma y producto de Kronecker y las
distribuciones tipo fase.
1.1. CADENAS DE MARKOV EN TIEMPO CONTINUO
El objetivo que aborda este trabajo se centrará en el estudio de los procesos de llegadas
de Markov (MAPs), sus ampliaciones y sus posibles aplicaciones, en este caso, referidas
al mundo de la fiabilidad. Dada la relación de estos procesos con el proceso de Poisson
comenzamos el trabajo recordando unas nociones previas de Procesos Estocásticos, y de
algunos casos particulares, como el mencionado Proceso de Poisson. En este capítulo
también se introducirán de forma general las Cadenas de Markov y las distribuciones
Tipo Fase, que serán de utilidad a lo largo del trabajo, así como la suma y el producto
de Kronecker.
Los procesos estocásticos se centran en el estudio y en la modelización de sistemas
que evolucionan a lo largo del tiempo generalmente, o del espacio, de acuerdo a unas
leyes no determinísticas, esto es, de carácter aleatorio, y que se verán regidas por leyes
probabilísticas.
Muchas aplicaciones de los procesos estocásticos aparecen en materias tan dispares
como física, ingeniería, biología, medicina y en otras disciplinas como la que nos
interesa en este trabajo, la fiabilidad.
La evolución de un fenómeno aleatorio a lo largo del tiempo o espacio puede ser
analizado mediante procesos estocásticos. Por ejemplo, el número de personas que
espera ante una ventanilla de un banco en un instante t de tiempo; el precio de las
1 Preliminares distintas acciones de una empresa a lo largo de un tiempo; el número de parados en el
sector de la Construcción a lo largo de un año…
Un proceso estocástico es una familia de v.a. { X t , t} , definidas en un mismo
espacio probabilístico.
Definición 1.1.1. Dado el espacio de probabilidad (Ω,  , P ) de modo que para todo
t  T   fijo se tiene
X t :  Ω,  , P   ( , )
  X t ( )  R
es decir, X t es una variable aleatoria y   Ω fijo, X • (w) es una función dependiente
del tiempo.
Definición 1.1.2. Al conjunto T   de subíndices se le denomina espacio paramétrico
y puede ser continuo o numerable.
De este modo aparece una primera clasificación en procesos estocásticos de
parámetro continuo o de parámetro discreto.
Definición 1.1.3. Se denomina conjunto de estados E, al conjunto de los posibles
valores que pueden tomar las variables aleatorias { X t , t } .En general, se piensa en el
subíndice t como el indicativo del tiempo y en X t como el estado o posición del
proceso estocástico en el instante t.
Definición 1.1.4. Un proceso estocástico en tiempo continuo {N (t )}t 0 , se dice de
recuento o puntual si N (t ) representa el número de veces que ocurre un suceso hasta el
instante de tiempo t.
Un caso especialmente relevante de los procesos de recuento son los procesos de
renovación que son de gran utilidad en el análisis de modelos probabilísticos aplicados
en distintos campos: modelos de inventarios y aplicaciones en fiabilidad y colas, entre
otros.
Los procesos estocásticos se pueden clasificar según dos tipos de estructura, la
estructura del conjunto paramétrico T y del conjunto de estados E y según las
características probabilísticas de las variables aleatorias. Según la primera clasificación,
es decir, a través del conjunto paramétrico y del conjunto de estados, los procesos
estocásticos se pueden clasificar en cuatro tipos, dependiendo de si T es un conjunto
numerable o continuo, y de si E es otro conjunto numerable o continuo.
2 Antonio Hernández Moreno E/T
Discreto
Continuo
Cadena
Proceso Puntual
Discreto
Continuo Sucesión de variables aleatorias Proceso Continuo
Si nos fijamos ahora en el segundo criterio de clasificación, podemos observar
como en la vida real se producen distintas relaciones entre las variables aleatorias que
constituyen un proceso estocástico.
Las propiedades probabilísticas de las variables aleatorias son importantes a la hora
de identificar y clasificar un proceso estocástico. Atendiendo a distintos factores como
puede ser el nivel de dependencia se pueden realizar distintas clasificaciones de los
procesos estocásticos. Así se tienen entre otros
— Procesos estacionarios.
— Procesos Markovianos.
— Procesos de incrementos independientes.
Analizamos con más detenimiento estos casos.
a) Procesos estacionarios: Para su tratamiento primero es necesaria una definición.
Definición 1.1.5. Función de autocovarianzas de un proceso estocástico. Dado
{ X t , t T } , se llama función de autocovarianzas a la función,
 (r , s)  Cov( X r , X s )  E[( X r  E ( X r ))·( X s  E ( X s ))]
donde r , s T .
La estacionariedad de un proceso se puede clasificar como débil o estricta
(fuerte).
Definición 1.1.6. Un proceso { X t , t T } tal que E ( X t2 )    t  T , es un proceso
estacionario en sentido débil si:
1) E ( X t )  m, t  T
2)  (r , s)   (r  t , s  t ) r , s, t  T
Esto implica que Var[ X t ] es constante t  T .
Además, debe existir el momento de orden dos de las variables aleatorias,
teniendo todas las mismas medias. La segunda condición implica que la función
3 Preliminares de autocovarianza tomará el mismo valor para dos variables aleatorias que estén
separadas por un retardo t en el proceso, independientemente de dónde se
encuentren situadas estas variables en el tiempo. Es decir, es invariante la
función de autocovarianzas frente a traslaciones.
Definición 1.1.7. Un proceso { X t , t T } tal que E ( X t2 )    t  T , es un proceso
estacionario en sentido estricto si n  , h  T y  t1 , t2 ,  , tn   T , las
variables aleatorias { X t , X t ,  , X t } tienen la misma distribución conjunta que
1
2
n
{ X t1 h , X t2 h ,  , X tn  h } .
Evidentemente, es fácil comprobar que un proceso estacionario en sentido
estricto también lo será en sentido débil, mientras que la implicación contraria
no siempre tiene porqué ser cierta. En el caso de que las variables aleatorias sean
distribuciones normales probabilísticas sí se dan ambas implicaciones.
b) Procesos Markovianos: la característica de los procesos estocásticos
markovianos es que la distribución de X n 1 es independiente de ( X n1 , X n2 , ...)
conocido X n . Se puede resumir diciendo que el futuro del proceso, es
independiente del pasado, conocido el presente.
c) Procesos con incrementos independientes: Se dice que un proceso { X t , t T }
tiene incrementos independientes si n  ,  t1 , t2 ,, tn T , las variables
aleatorias
y2  X t2  X t1

yn  X tn  X tn1
son independientes.
Como puede observarse y demostrarse, todo proceso con incrementos
independientes es a su vez un proceso markoviano.
Existe una gran variedad dentro de los procesos estocásticos, con distribuciones
típicas que se repiten en situaciones reales y las modelizan, tanto en su vertiente discreta
como en su vertiente continua. Entre esa tipología destacamos el proceso de Poisson, y
las cadenas de Markov (en tiempo discreto y en tiempo continuo) ya que son procesos
que nombraremos a lo largo de la exposición teórica que vamos a realizar, y es por ello
4 Antonio Hernández Moreno que procedemos a realizar una breve descripción. Comenzamos por las Cadenas de
Markov en tiempo continuo.
Las Cadenas de Markov son utilizadas en el análisis del comportamiento de
determinados procesos que evolucionan de forma no determinística a lo largo del
tiempo en torno a un conjunto de estados verificando la propiedad de Markov.
Una Cadena de Markov puede representar un sistema que varía su estado a lo largo
del tiempo, siendo cada cambio una transición del mismo. Estos cambios no están, sin
embargo, predeterminados, aunque sí estarán regidos probabilísticamente.
Para definir una Cadena de Markov se deben tener en cuenta tres elementos: un
conjunto de estados del sistema, la definición de transición y una ley de probabilidad
condicional que defina la probabilidad del nuevo estado en función de los anteriores.
Los estados son una caracterización de la situación en la que se halla en un instante
de tiempo dado, y dicha caracterización puede ser tanto cualitativa como cuantitativa.
Respondería a la pregunta de “¿Cómo están las cosas?”.
El concepto de transición proviene del cambio del sistema a lo largo del tiempo,
tiempo que se puede analizar desde un punto de vista discreto o continuo dando lugar a
las Cadenas de Markov en Tiempo Continuo o en Tiempo Discreto, donde las primeras
saltan de un estado a otro en tiempos aleatorios de la recta real y las segundas saltan de
un estado a otro en tiempos aislados en un conjunto numerable.
A lo largo del trabajo surgen dentro de los componentes del Proceso de Llegadas de
Markov (MAP) una Cadena de Markov en tiempo continuo, que pasamos a describir
brevemente.
Definición 1.1.8. Sea { X t }t 0 un proceso estocástico en tiempo continuo, es decir,
t [0, T ] con T   fijo, y que toma valores en un conjunto numerable E. Se dice que el
proceso { X t }t 0 es una Cadena de Markov en Tiempo Continuo (CMTC) si
s, t  0 y i, j, xu  E con 0  u  s se cumple que
P[ X t  s  j | X s  i, X u  xu 0  u  s]  P[ X t  s  j | X s  i] .
En otras palabras, una CMTC es un proceso estocástico que verifica la propiedad
Markoviana, es decir, que la probabilidad condicional de un futuro estado en el tiempo
t+s, dado el estado presente en el tiempo s y todos los estados pasados, solo depende del
estado presente siendo independiente del pasado. Continuamos con una serie de
definiciones necesarias para completar las CMTC.
Las probabilidades pij (t )  P[ X t  s  j | X s  i] , probabilidad de que estando en el
estado i en el instante s, después de un intervalo de tiempo t la cadena esté en el estado
5 Preliminares j, describen el comportamiento de las transiciones de la CMTC. Estas probabilidades así
definidas, se denominan probabilidades de transición. Si las probabilidades de
transición son independientes del tiempo s, como es el caso descrito, se dice que la
cadena es homogénea.
Definición1.1.9. Si { X t }t 0 es una CMTC y además verifica que P[ X t  s  j | X s  i] es
independiente de s entonces se dice que la CMTC es homogénea.
Definición 1.1.10. Diremos que un estado es transitorio si la probabilidad de que la
cadena no vuelva a visitarlo en el futuro es positiva, en caso contrario se dice
recurrente. Si un estado es recurrente es visitado infinitas veces con probabilidad 1,
siendo recurrente positivo si el tiempo esperado de retorno al estado es finito (en caso
contrario se habla de recurrente nulo).
Definición 1.1.11. Decimos que el proceso { X t }t 0 es irreducible si para todo x, y  E
la probabilidad de alcanzar el estado y saliendo del estado x en un tiempo finito es
positiva. Todos los estados comunican entre sí.
Definición 1.1.12. La distribución de X 0 , ( x)  P( X 0  x) es llamada distribución
inicial de la cadena.
Una cadena de Markov { X t }t 0 , queda determinada por las probabilidades de
transición y la distribución inicial. Para hallar las probabilidades de transición es
fundamental introducir el concepto de generador del proceso o Q-matriz.
Una forma de introducir el generador del proceso es mediante las probabilidades de
transición. Es fácil demostrar que las probabilidades de transición verifican las llamadas
ecuaciones de Chapman-Kolmogorov. Estas son
pij (t  s)   pik (t )·pkj ( s)
kE
que en forma matricial se tiene
P(t  s)  P(t ) P( s) .
Definición 1.1.13. La matriz Q  {qij }i , j E , donde
p ( h)
1  pii ( h)
, qij  lim ij
h0
h 0
h
h
 qii  qi  lim
se denomina matriz de intensidad o generador infinitesimal. En notación matricial
Q  lim
h 0
6 P (h)  P (0)
.
h
Antonio Hernández Moreno Un proceso de Markov en tiempo continuo también queda definido completamente
mediante el generador o Q-matriz y la distribución inicial. Se demuestra que dado el
generador Q las probabilidades de transición de la cadena de Markov homogénea
asociada viene dada por la solución de las llamadas ecuaciones diferenciales de
Kolmogorov,
P '(t )  P(t )Q  QP(t ) .
Estas ecuaciones tienen una única solución que viene dada por

Qn n
t .
n 0 n !
P(t )  exp[Qt ]  
Un concepto importante en el estudio de las CMTC es el de distribución
estacionaria que vemos a continuación.
Los valores de la distribución estacionaria se pueden interpretar como la proporción
final de tiempo que la cadena ha permanecido en cada estado a lo largo del tiempo. Se
puede decir que es también la proporción, a largo plazo, de etapas en las que la cadena
se encuentra en el estado i a lo largo de su evolución, si ha partido de i o de otro estado
recurrente que intercomunica con i. Para una cadena de Markov finita, aperiódica e
irreducible, existe una única distribución estacionaria.
El cálculo de la distribución estacionaria viene de la resolución del siguiente
sistema de ecuaciones,
 Q  0

 e 1
La estacionariedad resulta muy útil en una distribución debido a sus propiedades.
1.2. PRODUCTO, SUMA DE KRONECKER Y TRANFORMADAS DE
LAPLACE-STIELTJES
Al seguir con el tratamiento de distintos conceptos que nos aparecerán durante el
documento, se hará necesario el conocimiento de las expresiones de la suma y producto
de Kronecker. Se introducen por tanto estas operaciones para su correcta comprensión.
7 Preliminares Definición 1.2.1. Sea A una matriz de dimensión m x n y sea B una matriz de orden p x
q. Se define el producto de Kronecker A  B , como la matriz bloque mp x nq dada por
la expresión
 a11 B  a1n B 

  .
A  B   
 am1 B  amn B 
Definición 1.2.2. La suma de Kronecker de dos matrices cuadradas de órdenes p y q
respectivamente queda definida por la expresión basada en el producto de Kronecker
con la correspondiente matriz identidad.
C  D  C  Iq  I p  D ,
siendo Ir la matriz identidad de orden r.
Definición 1.2.3. Sea X una variable aleatoria no negativa con función de distribución
H. La transformada de Laplace-Stieltjes de X o de H es la función definida en (0, ) por

hˆ( s )  e  sx dH ( x), s   .
0
Para valores de s no negativos, hˆ( s ) siempre es finita, y dependiendo del
comportamiento de Hˆ ( x) para x grande, hˆ( s ) podría ser finita para algunos valores de s
negativos.
1.3. DISTRIBUCIONES TIPO FASE
A continuación se hace una breve descripción de las distribuciones tipo fase, que están
ligadas a los procesos MAPs y que son utilizadas en distintos campos como en teoría de
colas y fiabilidad de sistemas. Este tipo de distribución está ligado a los procesos de
Markov que se introdujeron en el apartado anterior.
Definición 1.3.1. Una distribución tipo fase (PH) se define como la distribución del
tiempo hasta la absorción en un proceso de Markov (finito) con estados transitorios y
una clase absorbente. Formalmente, una distribución es tipo fase con representación
( ,T ) , si es el tiempo hasta la absorción en un proceso de Markov sobre los estados
{1,, m, m  1} , donde los m primeros estados son transitorios y el estado m+1 es
absorbente. El generador del proceso, que se expresa matricialmente por bloques tiene
la siguiente estructura,
8 Antonio Hernández Moreno T T 0 

.
0 0 
Donde T es una matriz mxm, llamada matriz de intensidades, con diagonal negativa,
y elementos fuera de ella no negativos, donde vienen recogidas las transiciones entre los
estados transitorios.
La distribución inicial para los estados transitorios se define a través del parámetro
 , también de orden m. Se considerará que inicialmente se partirá de un estado
transitorio con probabilidad 1.
Se satisface la condición –Te  T 0  0 , donde e es un vector columna con
elementos 1 de dimensión adecuada.
La función de la distribución tipo fase se denota por H (·) , y viene dada por
H ( x)  1   ·exp(Tx)·e; x  0.
En otras palabras, una distribución tipo fase es la distribución del tiempo de
absorción en una cadena de Markov con espacio de estados finito, donde uno de ellos es
absorbente y los demás transitorios.
Algunos casos especiales de distribuciones tipo fase son la distribución
exponencial, la distribución Earlang, la hiperexponencial…La importancia y el uso
extendido de las distribuciones tipo fase viene dado por las propiedades analíticas que
posee. Algunas de ellas se muestran a continuación, pudiendo verse en detalle en Neuts
(1981).
Enunciamos primero el teorema que demuestra la conexión entre el método
matricial analítico y las distribuciones tipo fase.
Teorema 1.3.1. Sea B una distribución tipo fase con distribución inicial  , matriz de
intensidades T y con m estados transitorios. Entonces:
a) La función de distribución es B( x)  1   eTx e .
b) La función de densidad es b( x)   eTxT 0 .

c) La función característica es Bˆ ( z )  e zx B ( dx )   (  zI  T ) 1T 0 .
0
Otra característica notable de estas distribuciones radica en que gracias a su
distribución probabilística, no es complejo demostrar que las distribuciones tipo fase
son cerradas para una gran cantidad de operaciones, es decir, operaciones entre
9 Preliminares variables con distribución tipo fase da como resultado otra variable con también
distribución tipo fase.
Teorema 1.3.2. Sean dos variables tipo fase X e Y con representaciones ( ,T ) y (  , S )
respectivamente. La variable Z=X+Y sigue entontes una distribución tipo fase con
representación ( , L) dada por
T T 0 
L

S 
0
  ( ,  m1 );  m k 1   m1 k 1
Demostración. Neuts (1975)
Teorema 1.3.3. Dada la variable aleatoria { X i } con distribución tipo fase ( i , Ti ) y sea
k
Z  Ii X i con Ii  1 y P( Ii  1)  pi , entonces la variable aleatoria Z tiene distribución
i 1
tipo fase con representación ( , L) dada por
 T1  0 


L    
0  T 
k 

  ( p11 , p2 2 ,, pk k ) Demostración. Neuts (1975)
Una vez vistas las propiedades donde se puede ver que bajo distintas operaciones
sobre distribuciones tipo fase obtenernos otra distribución tipo fase, vamos a ver
resultados que caracterizan a las distribuciones tipo fase:
Teorema 1.3.4. Una distribución tipo fase es tipo fase si y sólo si:
i)
ii)
iii)
Tiene una función densidad de probabilidad continua en la recta real
positiva, con una posible masa en 0.
Su transformada de Laplace-Stiejes es racional.
Su transformada de Laplace-Stiejes tiene un polo único de parte real
maximal.
Demostración. Maier y O'Cinneide (1992)
10 Antonio Hernández Moreno La expresión de la transformada de Laplace-Stiejes f ( s) para un distribución tipo fase
viene especificada en Mishkoy, Krieger y Bejenari D, (2012). En concreto,
f ( s)   ( sI  T )1T 0 .
11 Preliminares 12 CAPÍTULO 2
EL PROCESO DE POISSON
2.1. INTRODUCCIÓN
El proceso de Poisson es de gran importancia en la modelización en distintos campos de
aplicación. En esta memoria presentamos el proceso de Poisson y veremos que los
Procesos de Llegada Markovianos y sus ampliaciones lo generalizan expresando los
resultados de forma matricial bien estructurada. En cierta forma, surgen de él basándose
en sus singulares propiedades.
2.2. DEFINICIONES
Supongamos que un mismo evento ocurre repetidas veces de manera aleatoria a lo largo
del tiempo. Tal evento puede ser, por ejemplo, la llegada de una reclamación a una
compañía aseguradora o la recepción de una llamada a un conmutador, la llegada de un
cliente a una ventanilla para solicitar algún servicio o los momentos en que una cierta
maquinaria requiere reparación, etcétera. Supongamos que las variables aleatorias
T1 , T2 ,... representan los tiempos que transcurren entre una ocurrencia del evento y la
siguiente ocurrencia. Supongamos que estos tiempos son independientes uno del otro y
que cada uno tiene distribución exponencial de igual parámetro. Se define el proceso de
Poisson al tiempo t como el número de ocurrencias del evento que se han observado
hasta ese instante t. Esta es una definición constructiva de este proceso y la
formalizaremos a continuación. Más adelante enunciaremos otras definiciones
axiomáticas equivalentes.
13 El Proceso de Poisson Definición 2.2.1. Sea T1 , T2 ,  una sucesión de variables aleatorias independientes con
distribución exponencial de parámetro  . El proceso de Poisson de parámetro  es el
proceso de tiempo continuo {Nt , t  T } , definido de la siguiente manera,
Nt  máx {n  1: T1  Tn  t}
Caracterización 2.2.1. Se dice que un proceso estocástico {Nt , t  T } es un proceso de
Poisson, donde Nt es el número de sucesos que ocurren en un intervalo (0, t ] si los
sucesos cumplen las siguientes condiciones:
i) El número de sucesos que aparecen en un intervalo de tiempo es independiente
del número de sucesos que ocurren en intervalos de tiempo anteriores.
ii) Homogeneidad en el tiempo: la probabilidad de que en un intervalo de tiempo
ocurran k sucesos sólo depende de la longitud del intervalo y no de dónde se
encuentre éste,
P{(Ns  t  N t )  k}  P{Ns  k}
iii) Estabilidad: El número medio de sucesos (a largo plazo) que ocurren por unidad
de tiempo es constante e igual a una tasa dada λ,
 N (t ) 
E

 t 
iv) El número de sucesos que ocurren en un intervalo infinitesimal (0, t) puede ser,
1.
Dos o más sucesos, con P[ N t  1]  o(t ) donde o(t ) es tal que
2.
o(t )
 0.
t
Un solo suceso con P[ N t  1]  t  o(t ) .
3.
Ningún suceso con P[ N t  0]  1  t  o(t ) .
lim
t 0
Esto implica que se puede elegir un intervalo suficientemente pequeño de tiempo,
para que sólo ocurra un suceso (o ninguno) cuando las ocurrencias son de una en una.
Proposición 2.2.1. Bajo estas condiciones, el número de ocurrencias en el intervalo
(0, t] sigue una distribución de Poisson. Así si N t cuenta el número de ocurrencias en el
intervalo (0, t] , entonces N t  P(λt) .
Demostración. Kingman (2002).
14 Antonio Hernández Moreno Proposición 2.2.2. En un proceso de Poisson, el tiempo que transcurre entre dos
llegadas es una variable aleatoria con distribución exponencial de parámetro λ.
El modelo estándar del proceso de Poisson presenta condiciones demasiado severas
y rara vez aparecen en la modelización real de procesos complejos: todos los sucesos
tienen la misma probabilidad de aparecer, y la tasa de llegada de los sucesos es siempre
la misma. Se puede generalizar, así, el caso donde varíen las tasas.
Definición2.2.2. Proceso de Poisson no homogéneo. Se dice que {Nt , t  T } es un
proceso de Poisson con tasa  (r ) si
i) N (0)  0 .
ii) N (t ) tiene incrementos independientes.
iii) N(t  s)  N(s) se distribuye como una Poisson de media t .
Como se ha comentado, la importancia del proceso de Poisson dentro de los
procesos de llegada Markovianos es clara, ya que estos últimos surgen del proceso de
Poisson a través de sus propiedades. Veamos a continuación las propiedades más
importantes de un proceso de Poisson.
2.3. PROPIEDADES
En esta sección se presentan algunas propiedades del proceso de Poisson.
Teorema 2.3.1.Sea un proceso estocástico {Nt , t  T } . Entonces N (t  s)  N ( s), t  0 es
un proceso de Poisson de parámetro  y es independiente de N (r ), 0  r  s .
Demostración: Supongamos que N ( s)  n y que el n-ésimo evento ocurrió en el
instante  n . Sabemos que el intervalo de tiempo para el siguiente evento debe satisfacer
que Tn 1  s   n , pero por la propiedad falta de memoria de la distribución exponencial
P[Tn1  s   n  t | Tn1  s   n ]  P[Tn1  t ]  et .
Así, demostramos que la distribución del tiempo de espera hasta el primer evento
después de s es exponencial de parámetro  y es independiente de Ti ,1  i  n . Además,
15 El Proceso de Poisson Tn1 , Tn 2 , son independientes de Ti ,1  i  n . Esto muestra que los intervalos entre
eventos que ocurren después de s son variables aleatorias idénticamente distribuidas con
distribución exponencial con parámetro  , y por lo tanto N (t  s)  N ( s), t  0 es un
proceso de Poisson.
Otra propiedad de los procesos de Poisson nos remite a la definición 2.2.2. dando
lugar por tanto a una caracterización de proceso de Poisson que viene dada por el
siguiente teorema.
Teorema 2.3.2. Si {N ( s), s  0} es un proceso de Poisson,
i)
N (0)  0 .
ii)
N (t  s)  N ( s) , t  0 es un proceso de Poisson de parámetro t .
N (t ) tiene incrementos independientes.
iii)
Recíprocamente, como hemos visto en la definición 2.2.2. si se cumplen estas
condiciones, entonces {N ( s), s  0} es un proceso de Poisson.
Demostración: A través de las propiedades anteriores podemos ver directamente
parte la demostración buscada. Resto en Kingman (2002).
2.3.1. SUPERPOSICIÓN DEL PROCESO DE POISSON
Una de las propiedades más importantes que poseen los procesos de Poisson hace
referencia a la superposición de procesos, propiedad que además heredarán los Procesos
de Llegada Markovianos (MAP).
Teorema 2.3.1.1. Sean N1 (t ),, Nk (t ) procesos de Poisson independientes con
parámetros 1 ,, k respectivamente, entonces el proceso N1 (t )  N k (t ) es también
un proceso de Poisson con parámetro 1  k .
Demostración: Se hará la demostración para el caso k=2, obteniéndose el caso
general por inducción. Es claro que la suma tiene incrementos independientes, y
que N1 (0)  N 2 (0)  0 . Para verificar que los incrementos tienen distribución de
Poisson con parámetro igual a 1  2 vemos que si
16 Antonio Hernández Moreno Y  N1 (t  s)  N1 (s) (1t ) y
Z  N 2 (t  s)  N 2 ( s) (2t )
entonces,
N (t  s)  N ( s)  N1 (t  s)  N1 (s)  N 2 (t  s)  N 2 ( s)  Y  Z
que siguiendo la propiedad de la distribución de Poisson se distribuirá por una
distribución de Poisson de parámetro (1  2 )t .
Un resultado más potente que el anterior también llamado teorema de PalmKhintchine (Han et al. 2006 y Cox and Miller 1977) afirma que si se superponen varios
procesos puntuales independientes, el proceso total que da como resultado será
localmente un proceso de Poisson. El término “local” hace referencia a considerar
intervalos muy cortos y que cada proceso contribuya como máximo con un evento
durante esos intervalos.
Gráficamente lo podemos ver de la siguiente forma:
Gráfico 2.2.2.1. Superposición de Procesos Puntuales
Vemos pues que la condición de independencia es la condición necesaria para la
superposición de procesos de Poisson en otro proceso de Poisson.
17 El Proceso de Poisson 2.3.2. DESCOMPOSICIÓN DEL PROCESO DE POISSON
Paralelamente, nos debe interesar de igual modo el estudio del comportamiento de los
procesos de Poisson en el caso de descomposición del mismo.
Teorema 2.3.2.1.Sean los eventos de un proceso de Poisson {N ( s), s  0} de dos tipos, A
y B. Sea 0  p  1 la probabilidad de que un evento sea del tipo A y q  1  p la
probabilidad de que el evento sea del tipo B. Supongamos que p es constante y que la
ocurrencia de un tipo no influye sobre la ocurrencia del otro tipo de evento. En estas
condiciones del proceso {N ( s), s  0} con parámetro   0 , los procesos {N A (s), s  0} y
{N B (s), s  0} son procesos independientes de Poisson con parámetros  p y  (1  p)
respectivamente.
Demostración. Neuts (1975)
Claramente, este resultado es fácilmente ampliable a más de dos tipos de eventos.
Resulta razonable pensar que si la superposición de procesos de Poisson es otro
proceso de Poisson, la descomposición de procesos de Poisson también lo es.
Ejemplo 2.3.2.1. Sea un proceso de Poisson que mide la llegada a una estación de
servicio, con parámetro   5 . Si dicha estación de servicio tiene tres surtidores, y los
clientes acuden al azar a cada uno de ellos de forma independiente, las llegadas a cada
surtidor pueden medirse a través de un proceso de Poisson con parámetro  / 3 .
2.4. MEDIDAS DE FUNCIONAMIENTO
El cálculo de las medidas más representativas del proceso de Poisson se resuelve de
forma casi inmediata a través del resultado de la propiedad 2.3.1. y del teorema 2.3.1.
De ellos, se deducía que el proceso es de incrementos estacionarios, que siguen una
distribución de Poisson de parámetro conocido  s . Lo vemos analíticamente.
El número medio de sucesos hasta el instante s viene dado por,
E[ N ( s)]  E[ N ( s  0)  N (0)]   s .
Por lo tanto su varianza es, Var[ N ( s)]   s. Y para cualquier intervalo de longitud s:
E[ N ( s  t )  N (t )]  E[ N ( s)]   s .
18 CAPÍTULO 3
PROCESO DE LLEGADAS DE MARKOV
(MAP)
3.1. INTRODUCCIÓN
Una vez terminados los dos primeros apartados de introducción básica, a través de las
nociones de procesos estocásticos, con la descripción de las Cadenas de Markov y los
procesos de Poisson y el conocimiento de las distribuciones tipo fase, comenzamos con
el verdadero objetivo de esta memoria, que no es más que el estudio y análisis del
Proceso de Llegadas de Markov (Markovian Arrival Process, MAP). Se va a realizar
una breve descripción de este proceso respondiendo a preguntas como de dónde surgen,
dónde podemos encuadrarlos, qué utilidad poseen, qué propiedades cumplen….
El proceso de Poisson, analizado en el capítulo anterior, es un proceso de
llegadas markoviano. Su propiedad de no memoria nos conduce a su aplicabilidad
mediante modelos Markovianos en la modelización estocástica. Una generalización del
proceso de Poisson, que mantiene muchas de las propiedades, es el Proceso de Llegadas
de Markov (MAP). El objetivo de este capítulo es introducir estos procesos, mostrando
sus interesantes propiedades. Si se tiene un sistema multiestados donde pueden ocurrir
llegadas desde cualquiera de ellos con distinta razón de ocurrencia entonces podemos
modelizar mediante un MAP.
Un MAP mantiene la propiedad de no memoria del proceso de Poisson
condicionando a la fase de la cadena inmersa. Se verá que el conjunto de procesos de
llegadas de Markov es muy versátil. De hecho, cualquier proceso de recuento puede ser
aproximado tanto como se desee mediante una sucesión de procesos de llegadas de
Markov.
La gran ventaja, como veremos durante la descripción teórica, de los procesos
MAPs está en su tratamiento analítico, puesto que, por ejemplo, la superposición de
19 Proceso de llegadas de Markov (MAP) procesos MAPs es un proceso MAP, propiedad que heredan de los procesos de Poisson,
donde se halla el germen del los procesos MAPs.
Como ampliación de los procesos MAPs veremos cómo se puede asociar al
momento de la llegada el número de elementos de ésta. Los procesos con llegadas en
grupo, con determinación del tiempo entre llegadas a través de un proceso MAP, son los
procesos BMAP (Batch Markovian Arrival Process) o MAP en grupo, donde la
distribución del número de elementos de la llegada es independiente del proceso MAP y
está regulada por una Cadena de Markov con un número finito de estados.
Los procesos MAPs son una clase de procesos que incorpora, entre otros, a los
procesos de Poisson modulados de Markov (Markov-Modulated Poisson Process,
MMPP), procesos de renovación con distribución de tipo fase para los intervalos entrellegadas, procesos puntuales semi-Markovianos con tiempos entre-llegadas de tipo fase,
y superposiciones de estos procesos.
3.2. DEFINICIONES
Como se ha indicado en la introducción, el verdadero objetivo del presente trabajo es la
introducción de los procesos de llegada Markovianos, que a partir de ahora denotaremos
como MAP (Markovian Arrival Process) y sus generalizaciones BMAP (Batch
Markovian Arrival Process) y MMAP (Marked Markovian Arrival Process) (también
podría verse de forma contraria, comenzando por el proceso más general, los procesos
MMAPs y yendo posteriormente a cada uno de sus casos particulares de procesos
BMAP y procesos MAPs).
Comenzamos con el primero y más sencillo de los casos. Como veremos, iremos
pasando de uno a otro de una forma constructiva, comenzando por el ya definido
proceso de Poisson, origen de todos, que generará el MAP, éste el BMAP, y éste el
MMAP.
La descripción de todos estos procesos será nuestro objetivo, ya que en la práctica
nos servirán para modelizar multitud de situaciones de la vida real, tal y como veremos.
En los tres tipos de procesos procederemos de la misma forma, introduciéndolos a
través de la formulación de su definición de cuatro formas distintas, siguiendo distintos
criterios y puntos de vista. Posteriormente se mostrarán algunas medidas clave en
dichos procesos así como resultados y propiedades a tener en cuenta.
Se introducirán ejemplos que afianzan las definiciones, los resultados mostrados y
que muestran la versatilidad de estos procesos.
20 Antonio Hernández Moreno Supongamos un sistema de fiabilidad que atraviesa distintos estados mediante su
funcionamiento (sistema multi-estados) y que puede fallar en cualquier instante de
tiempo desde cualquier estado. El funcionamiento de este sistema puede modelizarse
mediante una cadena de Markov, con generador D. Los fallos del sistema pueden
ocurrir cuando tiene lugar un cambio de estados o mientras está funcionando en uno
cualquiera. El número de fallos de este sistema multiestados puede ser modelizado
mediante un proceso de llegadas de Markov (MAP).
Definición 3.2.1. Sean ( D0 , D1 ) matrices de orden m, con m entero positivo, con todos
los elementos de las dos matrices no negativos excepto la diagonal principal de D0 , que
son negativos, y D  D0  D1 un generador infinitesimal de una cadena de Markov. Sean
sus elementos D0  ( d 0,( i , j ) ) y D1  ( d1,( i , j ) ) . Entonces, ( D0 , D1 ) definen un MAP
{( N (t ), I (t )), t  0} como sigue:
N (0)  0
2) La matriz D define una cadena de Markov en tiempo continuo (CMTC)
{I (t ), t  0} por D.
3) Para una fase (estado) i con d 1( i ,i )  0 , se tiene un proceso de Poisson (PP), con
1)
razón de llegada d1( i ,i ) para i  1,, m . Si I (t )  i , el proceso Poisson estará
operativo y en otro caso no operativo.
4) Si I (t )  i y una llegada del proceso de Poisson ocurre, N (t ) se incrementa en
una unidad, para i  1,, m .
5) Al final de cada permanencia en el estado i, con probabilidad
d0, (i , j )
(  d ( i ,i ) )
,
(con d(i ,i )  d0,(i ,i )  d1,(i ,i ) ), I(t) transitará de la fase i a la j, y N (t ) se mantendrá
igual, es decir, sin llegadas; y con probabilidad
d1, (i , j )
(  d ( i ,i ) )
, transitará I (t )
igualmente de i a j, pero N (t ) se incrementará en una unidad, es decir, con una
llegada, para i  j y i, j  1,, m .
Llamamos ( D0 , D1 ) a la representación matricial del MAP y a {I (t ), t  0} la cadena
de Markov subyacente o inmersa.
Si el estado inicial de {I (t ), t  0}, I (0) , está bien determinado, el MAP estará bien
definido.
Esta definición de MAP puede ser reexpresada en términos de razones de llegadas y
transiciones de la siguiente forma:
‐
d 0, ( i , j ) = razón de transición del estado i al j sin llegadas, con i  j .
21 Proceso de llegadas de Markov (MAP) ‐
d1, ( i , j ) = razón de transición del estado i al j con llegadas, para todo i,j.
‐
 d 0, ( i ,i ) = razón total de eventos del estado i.
Ejemplo 3.2.1. Los MAPs son de amplia aplicación en la vida real y de forma teórica
en probabilidad. Los siguientes ejemplos nos lo muestran.
1) Proceso de Poisson con parámetro λ. En este caso, D0  (  ), D1  ( ), D  (0) y
m  1 .Notar que d (1,1)  0 ya que hay un único estado y por tanto no hay
transiciones entre fases.
2) Proceso de renovación de Erlang con m fases (estados): es definido como un
proceso de renovación estándar para el cual los tiempos entre llegadas son
v.a.i.i.d. según una distribución Erlang con parámetros m y λ. Usando una
representación tipo fase de la distribución Erlang, una representación matricial
de este proceso de llegada puede darse como ( D0  λ·J(m)), ( D1  λ·K (m))
,siendo,
 1 1


0 

0  0
 0 1



.
J ( m)   

  , K ( m)      




1 1 
 1  0  mxm
 0


0 1 mxm

3) Proceso de renovación tipo fase. Se trata de un proceso de renovación estándar
cuyos tiempos entre llegadas son independientes y tiene una distribución
probabilística común tipo fase con representación PH( ,T) , con  ·e  1 . Así,
D0  T ; D1  T 0 · .
El generador infinitesimal de la cadena de Markov subyacente es D  T  T 0 ·
.Las transiciones asociadas a T no tienen llegadas, mientras que las transiciones
asociadas a T 0 · tienen una llegada.
4) Proceso de llegadas a ráfagas.
 10 0 
8 2
D0  
 , D1  
.
 2 2 
0 0
Cuando la cadena de Markov está en el estado 1, un número de llegadas puede
ocurrir en corto período de tiempo.
5) MSSP: Markov switched Poisson Process.
22 Antonio Hernández Moreno  1 0

 0 

 0 2



  , D1  (di , j ) .
D0  


 m 
0





Como por definición, D  D0  D1 debe ser un generador infinitesimal, en este
MAP las llegadas cambian entre m procesos de Poisson con tasas de llegada
{λ1 ,, λ m } . Tras cada llegada el MAP puede cambiar a otro proceso de
Poisson o permanecer en el mismo. Por ejemplo,
0
0
 10 0
 0 10



0 8
0
0
0 6

D0 
; D1  
 0
0 0
0 10 0 



0
0 8 
 0
8 0
0 0

2 0
.
8 2

0 0
6) MMPP: Markov Modulated Poisson Process. En este caso D0  D  Λ, D1  Λ ,
donde Λ es una matriz diagonal de enteros positivos. Las llegadas ocurren en
los estados individuales y no en las transiciones entre estados (por ello, D es
diagonal). De esta forma, las tasas de llegada son moduladas (Modulated) por
una Cadena de Markov en Tiempo Continuo (CMTC) con generador D. Por
ejemplo,
 9 9 
5 0
D
 ; D1  Λ  
.
 3 3 
0 6
Es decir, que tenemos unas tasas de llegada 5 y 6 para las fases 1 y 2
respectivamente. Los procesos MMPP son procesos MAPs con sólo un tipo de
llegadas, que vienen impuestas por el proceso de Poisson.
La flexibilidad para generar procesos de llegadas con características distintas es una
de las principales razones por la que los procesos MAPs son usados extensamente en la
práctica. Otras razones para este uso generalizado, son, tal y como se verá a lo largo de
este documento, la tratabilidad analítica y numérica, y la flexibilidad en la modelización
estocástica.
Observación 3.2.1. Por la definición dada de MAP se pueden proporcionar las
siguientes observaciones sobre el proceso estocástico {( N (t ), I (t )), t  0} .
23 Proceso de llegadas de Markov (MAP) 1) En el estado (n, i ) , la siguiente transición ocurre tras un tiempo distribuido
exponencialmente, al igual que ocurre con la siguiente llegada desde el proceso
de Poisson impuesto en el estado i. Además, el tiempo de permanencia en el
estado (n, i ) , o lo que es lo mismo, el tiempo hasta un nuevo evento, ya sea una
llegada o ya sea una transición, se distribuye exponencialmente con parámetro
 d 0, ( i ,i ) para n  0, i  1,, m .
2) Al final de su estancia en el estado (n, i ) , el proceso {( N (t ), I (t )), t  0} hará una
transición
al
estado
(n, j)
con
probabilidad
d 0, (i , j )
i  j, i, j  1,, m; o al estado  n  1, j  con probabilidad
(d 0, (i ,i ) )
d1, (i , j )
(d0, (i ,i ) )
con
para
i, j  1,, m . Estas probabilidades muestran las importancia y la fácil
descripción del MAP a través de su representación matricial, ya que en esa
representación está toda la información necesaria del MAP.
Por la definición dada de CMTC y estas observaciones indicadas, es fácil ver que
{( N (t ), I (t )), t  0} es a su vez una CMTC, que nos lleva a poder formular la definición
de MAP a partir de CMTC.
Definición 3.2.2. Se define {( N (t ), I (t )), t  0} como una CMTC con espacio de estados
0,1, 2, x 1, 2, m con
m siendo un entero positivo y definiendo su generador
infinitesimal como
 D0

 0
Q  

 
 

D1 0    

D0 D1 0   
     .


0 D0 D1  

    
Considerando que N(0)  0,{( N (t ), I (t )), t  0} se denomina MAP con representación
matricial ( D0 , D1 ) .
Acorde con la definición de CMTC, ( D0 , D1 ) debe satisfacer las condiciones dadas
en la definición 3.2.1.deprocesos MAPs. Se observa que N (t ) es no decreciente
formando un proceso de recuento. Esta definición permite llamar a {( N (t ), I (t )), t  0}
MMCP (Markov Modulated Counting Process).
24 Antonio Hernández Moreno Se puede demostrar que para esta Cadena de Markov recién definida, el tiempo de
permanencia en la fase i se distribuye exponencialmente con parámetro d ( i ,i ) , para
i  1,, m , siendo D  (d(i ,i ) )  D0  D1 .
Esta no ha sido la última definición posible de MAP. Todavía se puede construir un
MAP siguiendo otros puntos de vista. Para la siguiente definición se necesita introducir
el ambiente probabilístico en el que se fundamenta.
Sea  n el tiempo entre la llegada (n  1) y la llegada n de un MAP con
representación matricial ( D0 , D1 ) . Sea I n la fase inmediatamente después de la n-ésima
llegada, es decir, I n  I ( 1   2  n  0) . Ya que puede haber eventos sin llegadas
entre llegadas consecutivas, en general,  n puede no ser distribuido exponencialmente.
Si N (t )  0 las transiciones de la Cadena de Markov Q estará gobernada por D0 en (0, t ) .
Así,
P[ I (t )  j , N (t )  0 | I (0)  i]  (exp( D0 ·t ))i , j ,
P[ I (t )  j,1  t | I (0)  i]  (exp( D0 ·t ))i , j .
Para el proceso de Poisson, en un intervalo infinitesimal, la probabilidad de que
haya un evento es proporcional a la longitud del intervalo,  ·t y la probabilidad de
haber dos o más eventos es o( ·t ) .
El suceso {I1  j , 1   ·t / I (0)  i} implica que al menos una llegada tiene lugar en
(0, ·t ) , que sería la transición de i a j. Tenemos por tanto,
P[( I1  j ),1   ·t / I (0)]  d1(i , j ) ·t  o( ·t )
Por la propiedad de Markov, dicho evento en el instante primero es equivalente a
cualquier otro tipo de tiempo n.
Por definición, {( I n , n ), n  0,1, 2,} es un proceso de renovación de Markov,
hecho que da pie a la tercera definición de MAP que vemos a continuación.
Definición 3.2.3. Suponiendo que las matrices ( D0 , D1 ) satisfacen las condiciones dadas
en la definición 3.2.1 de procesos MAPs. Se define el proceso de renovación de Markov
{( I n , n ), n  0,1, 2,} mediante
t
P {I n  j , n  t I n 1  i}  (  exp  D0 x  dxD1 )ij ,
0
25 Proceso de llegadas de Markov (MAP) y su correspondiente cadena de Markov en tiempo continuo {I (t ), t  0} con generador
infinitesimal D  D0  D1 . Se define
N (0)  0

N (t )  
{N (t )  n}  { 1   2    n 1  t} ; t  0.
El proceso {( N (t ), I (t )), t  0} se denomina MAP.
Finalmente He (2010) introduce la siguiente definición.
Definición 3.2.4.: Sea { i ,1  i  m} números no negativos cuya suma es la unidad. Sean
{d0(i , j ) , i  j, i, j  1,, m)} y {d1(i , j ) , i, j  1,, m)} números no negativos con m entero
finito positivo. Asumiendo que
d0(i ,i )  d0(i ,1)  d0(i ,i 1)  d0(i ,i 1)  d0(i ,m)  d1(i ,1)  d1(i ,i )  d1(i ,m)  0
para
todo i = 1,…,m, definimos el proceso estocástico {( N (t ), I (t )), t  0} de la siguiente
forma,
1) Definimos m·(2m  1) procesos de Poisson independientes con parámetros
{d0(i , j ) , i  j, i, j  1,, m)} y{d1(i , j ) , i, j  1,, m)} .
Si
alguno
de
esos
parámetros vale 0, el Proceso de Poisson no tiene ocurrencias.
2) Sea I (0) dado por la distribución de probabilidad {i ,1  i  m} , con N (0)  0 .
3) Si I (t )  i,1  i  m, I (t ) y N (t ) permanecen igual hasta que el primer evento
ocurra en los 2m 1 procesos de Poisson correspondiendo a
{d0(i , j ) , i  j, i, j  1,, m)} y {d1(i , j ) , i, j  1,, m)} . Si el siguiente evento
ocurre desde el proceso de Poisson correspondiente a d0(i , j ) , la fase de la
variable I (t ) cambia de i hacia j y N (t ) no cambia,  j  1, , m; j  i. Sin
embargo, si la siguiente ocurrencia viene del proceso de Poisson
correspondiente a d1(i , j ) la fase de la variable I (t ) cambia de i hacia j y N (t ) se
incrementa en una unidad, es decir, ha ocurrido una llegada,  j  1,, m.
Se puede demostrar que:
i) El tiempo de permanencia en {(n, i)} del proceso {( N (t ), I (t )), t  0} , se
distribuye exponencialmente con parámetro {d0(i ,i ) , i  1,, m}
ii) Que la probabilidad de que la nueva fase sea j y que no haya llegada es
d 0( i , j )
.
 d 0( i ,i )
26 Antonio Hernández Moreno iii) Que la probabilidad de que la nueva fase sea j y que sí haya una llegada
d1( i , j )
es
, dado que el estado activo es (n, i ) para
 d 0( i ,i )
i, j  1,, m; n  0,1, 2
iv) El tiempo de permanencia de {I (t ), t  0} en la fase i se distribuye por
una
distribución
exponencial
(d0(i ,i )  (d1(i ,i ) )) i  1,, m.
de
parámetro
v) Sea D0  (d0(i , j ) ), D1  (d1(i , j ) ) . Se puede demostrar que {I (t ), t  0} es
una CMTC con generador infinitesimal D  D0  D1 .
vi)
{( N (t ), I (t )), t  0} es otra CMTC con generador infinitesimal dado por
 D0

 0
Q  

 
 

D1 0    

D0 D1 0   
      . 

0 D0 D1  

    
Por lo tanto, {( N (t ), I (t )), t  0} es un MAP con representación matricial ( D0 , D1 ) .
Ésta es una interpretación intuitiva de los parámetros de los MAP y es muy usada
en la modelización estocástica, dando una forma sencilla de simular MAP. No es objeto
demostrar que las cuatro definiciones distintas vistas de MAP son equivalentes pero
aportan distintas perspectivas. De hecho, resumiendo, podemos decir que la primera
definición dada (Definición 3.2.1.) es una definición constructiva basada en las cadenas
de Markov y en el proceso de Poisson. La segunda, (Definición 3.2.2.) es una
macrodefinición basada en cadenas de Markov. La tercera (Definición 3.2.3.), en
cambio, es una microdefinición basada en el proceso de renovación de Markov y por
último la cuarta definición, recién vista, (Definición 3.2.4.) aporta una definición
constructiva basada en los procesos de Poisson.
A continuación vamos a mostrar algunos ejemplos de procesos MAPs.
Ejemplo 3.2.2. Sea la CMTC {I (t ), t  0} con generador infinitesimal
 3.5 3.5 
D
.
9 
 9
Es decir, se tiene una CMTC con dos estados, 1 y 2, donde el tiempo de
permanencia en el estado 1 es una exponencial con parámetro 3,5 y el tiempo de
permanencia en el estado 2 es una exponencial con parámetro 9. La probabilidad de que
27 Proceso de llegadas de Markov (MAP) estando la cadena en el estado 1 pase al 2, o que estando en el 2 pase al 1 una vez que se
produce el salto es igual a 1. Analizamos el MAP que contabiliza una llegada cada vez
que se produce un cambio de estado.
A esta CMTC se le puede calcular su distribución estacionaria, resolviendo como es
conocido el sistema de equilibrio junto a la condición de normalidad,
 ·D  0

 ·e  e,
 8.5 3.5 
,
obteniendo como solución   
.
 12.5 12.5 
Como el proceso siempre salta de un estado al otro, siempre habrá una llegada en
cada transición, y podemos definir por tanto N1 (t ) como en “nº de llegadas en (0,t]”.
Con las definiciones vistas, es fácil determinar que {( N1 (t ), I (t )), t  0} es un MAP,
donde N1 (t ) contabiliza el número de llegadas e I (t ) realiza el seguimiento de los
estados de la cadena de Markov subyacente o inmersa. Si el estado inicial de
{I (t ), t  0} está determinado, el MAP está bien definido.
Como se vio en las definiciones, para representar un proceso necesitamos las
razones de llegada. Para un MAP {( N1 (t ), I (t )), t  0} , las razones de llegada son
exactamente las intensidades de transición entre los estados individuales. Así, en el
ejemplo, si el proceso se encuentra en el estado 1, la razón de llegada al estado 2, que es
la de salida de este estado es 3.5. Por el contrario, si el proceso se encuentra en el estado
2, la tasa de salida que es la de llegada al estado 1 vale 9.
Con estos datos podemos definir la representación matricial del MAP de la
siguiente forma:
 3.5 0 
 0 3,5 
D0  
 ; D1  
.
9 
 0
9 0 
Como se observa, en la diagonal de D0 se muestran las razones de salida de los
estados individuales. Los ceros de D0 y D1 indican que no existe correspondencia entre
llegadas y/o cambios de estado.
Resumiendo, en D0 nos encontramos con las intensidades de transición sin llegadas
(menos en su diagonal principal) mientras que en D1 no encontramos con las razones de
transición con llegadas.
28 Antonio Hernández Moreno Esta representación matricial ( D0, D1 ) representará al MAP, y D  D0  D1 describe
los cambios de estado en la cadena de Markov subyacente, sin considerar las llegadas.
Siguiendo con el análisis de {( N1 (t ), I (t )), t  0} , que acabamos de ver que es MAP,
también es una CMTC con espacio de estados {0,1, 2, }x{1, 2} , y podremos calcularle
su generador infinitesimal. En este caso valdrá,
(0,1) (0, 2)


0
 (0,1) 3,5
 (0, 2)
9
0
Q
0
0
 (1,1)
 (1, 2)
0
0




 D0 D1 0  

 0 D0 D1 0 
     


0 D0 D1
 
 

  

(1,1) (1, 2) (2,1) (2, 2)
0
9
3.5
0
0
0
0
0
3.5
0
0
3,5
0

9

9

0













.


 
Cada una de las fases anteriores puede ser interpretada como sigue. La fase (n, i )
indica que han ocurrido n llegadas y la cadena se encuentra en el estado i. Así, se puede
considerar un MAP en la modelización de un sistema de fiabilidad donde se analiza el
número de fallos que tienen lugar cuando se cambia de estado. Mediante el producto de
Kronecker el generador Q puede ser expresado como I  ( D0 | D1 ) , siendo I la matriz
identidad de orden infinito.
Ejemplo 3.2.3. Siguiendo con el ejemplo anterior, ahora se añade la posibilidad de
poder haber cambios de estado sin contabilizar como llegada. Sea {I (t ), t  0} una
CMTC con dos estados, tal que, cuando cambia desde el estado 1 al 2, ocurre una
llegada con probabilidad 0.2, y por tanto, la probabilidad de que no haya llegada en esa
transición es 0.8. Paralelamente, cuando la CMTC cambia del estado 2 al 1, la
probabilidad de que haya una llegada es 0.7, y de que no la haya 0.3. Sea N 2 (t ) =”nº de
llegadas en (0,t]”. Entonces, {( N2 (t ), I (t )), t  0} es un MAP que analizamos a
continuación.
Si la cadena de Markov {I (t ), t  0} está en el estado 1, la tasa de transición total
será 2.5, que puede descomponerse en dos partes según haya o no una llegada en el
cambio (suponemos que no hay llegadas si no hay cambio de estado). Si hay llegada, la
tasa de transición es 0.2 x3.5  0.7 mientras que si no hay llegada será 0.8x3.5  2.8 .
29 Proceso de llegadas de Markov (MAP) Análogamente para el caso del estado 2, obteniendo las matrices de la representación
matricial del MAP
 3.5 2.8 
 0 0.7 
D0  
 ; D1  
.
 2.7 9 
 6.3 0 
Los valores (2.8, 2.7, 0.7, 6.3) corresponden a los cambios de estado de la CM
inmersa dependiendo de si hay o no llegadas.
Como se puede ver, D  D0  D1 no sufre modificaciones con respecto a la
presentada en el Ejemplo 3.2.2.y de nuevo
 D0

 0
Q  

 
 

  

D0 D1 0   
     .


0 D0 D1  

    
D1
0
Ejemplo 3.2.4. Sea {I (t ), t  0} la CMTC introducida en los ejemplos anteriores. Si la
cadena está en el estado 1, se define un proceso de Poisson con razón de ocurrencia
igual a 4. Estas llegadas no van a acompañadas de un cambio de estado en la CM
inmersa. Cuando la cadena de Markov transiciona al estado 2, el proceso de Poisson
definido en el estado 1 queda no operativo. Si vuelve al estado 1 el proceso de Poisson
vuelve a estar operativo. No existen llegadas cuando ocurre una transición al estado 2 ni
desde el estado 2 al 1. Definimos el MAP {( N3 (t ), I (t )), t  0} con N 3 (t ) =”número de
llegadas en (0,t]” Analizamos el comportamiento de los estados.
‐
Estado 1: el tiempo hasta la siguiente transición de la CM inmersa, denotada
X 1 sin producir llegada se distribuye según una distribución exponencial de
parámetro 2.5, y el tiempo hasta la siguiente llegada del proceso de Poisson,
que denotamos Z1 será también exponencial de parámetro 4. Por lo tanto,
aunando estos dos procesos, el tiempo hasta el siguiente suceso, sea llegada o
sea transición será la variable aleatoria Min( X 1 , Z1 ) , que por propiedades de la
distribución exponencial se distribuirá como otra distribución exponencial de
parámetro 6.5, que es la razón total de cambio.
Cuando se produzca el cambio de estado desde el estado 1, será una llegada
con probabilidad 4
6.5 y será una transición sin llegada con probabilidad
2.5
6.5 .
30 Antonio Hernández Moreno ‐
Estado 2: en el estado 2 no se imponen llegadas de Poisson, siendo la razón
total de cambios igual a 10, que es la intensidad de transición del estado 2 al 1,
siempre sin llegadas.
Visto el comportamiento de ambos estados se pueden deducir las componentes de
la representación matricial del MAP como sigue,
 2.5  4 2.5 
 4 0
D0  
 ; D1  

10 
 10
 0 0
Observamos como se ha ido complicando ligeramente la composición del MAP así
como de su representación matricial. Aquí como novedad tenemos el valor d1(1,1)  4 ,
que como hemos visto es la tasa de llegadas del proceso de Poisson sin cambio de
estado.
Siguiendo con el análisis del MAP {( N3 (t ), I (t )), t  0} podemos calcular el
generador infinitesimal del mismo, donde veremos que sigue con la misma estructura
que los casos anteriores,

 0,1

  0,1 6,5
  0, 2  10
Q
0
 1,1
 1, 2 
0



 D0

 0
 

 
 

 0, 2  1,1 1, 2   2,1  2, 2 
2.5
10
0
4
0
6.5
0
0
2.5
0
0
4
0
0
0
0

10

10

0

0










D1 0    

D0 D1 0   
     .


0 D0 D1  

    
Ejemplo 3.2.5. Seguimos viendo ejemplos de MAP desde un punto de vista
constructivista. Ahora, analicemos que ocurre en el caso de conjugar los dos últimos
casos vistos.
Sean los MAPs {( N 2 (t ), I (t )), t  0} y {( N3 (t ), I (t )), t  0} definidos en los ejemplos
anteriores. Calculamos {( N 4 (t ), I (t )), t  0} donde N 4 (t )  N 2 (t )  N3 (t ) . Este ejemplo se
analizará en capítulo 3.3.1.considerando el resultado para la superposición de MAPs.
Tal y como se han definido los MAPs anteriores, N2 y N 3 , la suma de llegadas de ambos
31 Proceso de llegadas de Markov (MAP) procesos ocurren de la siguiente forma. Cuando la Cadena de Markov está en el estado 1
la razón total de eventos es 6.5. Si el estado 2 no es considerado, obtenemos un proceso
de Poisson con razón de llegada 6.5 de donde:
4
.
6.5
b) Una transición desde el estado 1 al 2 con llegada con probabilidad
2.5
0.2 x
 0.5 .
6.5
c) Una transición del estado 1 al 2 sin llegadas con probabilidad
2.5
0.8 x
 2.
6.5
a) Se tiene una llegada con probabilidad
Cuando la Cadena de Markov está el estado 2, la tasa total es igual a 10. Si el
estado 1 no es considerado, se tiene un proceso de Poisson con razón de llegada igual a
2. O dicho de otra forma, cuando llega un evento se tiene que,
a) Llegada y estado de permanencia en 2 con razón 0.
b) Llegada y que el estado cambie a 1 es 7 /10 .
c) No llegada y estado cambie a 1 es 3/10 .
Aunque no se ha comentado, es obvio decir que {( N 4 (t ), I (t )), t  0} es un MAP
pero también una CMTC con
 D0

 0
Q  

 
 

  

0  
     ,


0 D0 D1  

    
D1
D0
0
D1
siendo
 2.5  4 2 
 4 0.5 
D0  
 ; D1  
.
10 
 3
7 0 
Ejemplo 3.2.6.: Terminamos mostrando el comportamiento y las funcionalidades de los
procesos MAPs a través del siguiente ejemplo donde se ponen en juego 3 estados y no 2
como en los ejemplos anteriores. Sea una CMTC {I (t ), t  0} donde
6
 8 2


D   10 10 0  .
 2
3 5 

32 Antonio Hernández Moreno Es decir, se tiene una transición del estado 1 al 2, con probabilidad 2/8, y del 1 al 3
con probabilidad 6/8. Las transiciones del estado 2 al 1 ocurren con probabilidad 1, y no
pueden haber transiciones del estado 2 al 3. Respecto al estado 3, cambiará con
probabilidad 2/5 al estado 1, y al 2 con probabilidad 3/5.
Definimos el MAP {( N5 (t ), I (t )), t  0} , donde:
a) Estando en el estado 1: si la CM va al estado 2, no existen llegadas. Si la
CM va a 3, hay una llegada con probabilidad 0.4.
b) Estando en el estado 2: hay un proceso de Poisson con tasa 4 de llegadas.
Si la CM va a 1, habrá una llegada con probabilidad 0.7.
c) Estando en el estado 3: hay un proceso de Poisson con tasa 1 de llegadas.
Si la CM va a 1, habrá una llegada con probabilidad 0.8. Y si va a 2,
habrá una llegada con probabilidad 0.5.
Sumando, la tasa total de los estados 1,2 y 3 son respectivamente 8+0, 10+4 y 5+1.
Descomponiendo D en D0 , que como sabemos incluye las tasas en el caso de que no
hubiera llegadas, y D1 que las incluye en el caso de que sí las haya, se tiene que
2
3.6 
0 2.4 
 8
 0




D 0   3 10  4
0  ; D1   7
4
0 .
 0.4
 1.6 1.5 1 
1.5
5  1



Todos estos ejemplos, demuestran que los eventos con llegadas pueden ocurrir en
los estados individuales según su proceso de Poisson y cuando la Cadena de Markov
subyacente cambia de estado. De hecho, son las únicas formas de generar llegadas en
los procesos MAPs. Resumiendo, en un MAP los eventos que pueden ocurrir son: i)
transición entre los estados; ii) llegada sin cambio de estado; iii) transición con llegada.
3.3. PROPIEDADES DE LOS PROCESOS MAPS
Una vez definidos los procesos MAPs a través de cuatro vertientes distintas, analizar
las propiedades básicas de los mismos y ver ejemplos ilustrativos, debemos hacer
hincapié en dos propiedades que justifican aún más el uso de los procesos MAPs en la
modelización de sucesos reales. Tal y como hicimos en relación a los procesos de
Poisson, analizamos la superposición de procesos MAPs y la descomposición de
procesos MAPs, pero antes se deben introducir resultados acerca de la función
generatriz de momentos que son necesarios.
33 Proceso de llegadas de Markov (MAP) Una de las conclusiones que a primera vista se ve sobre los procesos MAPs es que
son CMTC, y por tanto, podemos estudiarlo como tales según la teoría de las Cadenas
de Markov. Aprovechando la estructura de los MAPs y de las Cadenas de Markov se
puede hacer un análisis más eficiente. Basado en probabilidades condicionadas y
métodos de transformación que se presentan en este capítulo, se obtendrán en el
capítulo 3.4. expresiones de medidas de funcionamiento a partir de la expresión de su
función generatriz de momentos.
Centrando el foco en el número de llegadas N (t ) , que es una variable aleatoria para
un t fijo, se puede obtener la función media y varianza de N (t ) , donde se mostrará que
la fase en la que se encuentra el proceso subyacente I (t ) juega un papel importante.
Para un MAP {( N (t ), I (t )), t  0} con representación matricial ( D0 , D1 ) , podemos
definir las probabilidades de transición,
 pi , j ( n, t )  P[ N (t )  n, I (t )  j / I (t )  i ]

P ( n, t )  ( pi , j ( n, t )) mxm

i, j  1,  , m
Estas probabilidades se pueden expresar matricialmente obteniendo la matriz
P (n, t ) . Notar que
P(0, 0)  I ; P(n, 0)  0; n  1, 2 , donde pi , j (n, t ) es la
probabilidad de que haya n llegadas en (0, t ] y que la Cadena de Markov subyacente
esté en j en t, dado que la Cadena de Markov inicialmente en el estado i. Debemos
recordar en este punto que el tiempo de permanencia en (n, i ) se distribuye
exponencialmente dada la markovianiedad.
Condicionando por el número de llegadas en un intervalo infinitesimal (t , t   t ) , se
obtiene que
pi , j (n, t   t )  pi , j (n, t )(1  d 0,( j , j ) ) t 
m

pi ,k (n, t )·d 0,( k , j ) t
k 1; k  j
m
  pi ,k (n  1, t )·d1,( k , j ) t  o( )  A  B  C  D .
k 1
Es decir, se puede descomponer en cuatro términos la expresión de la probabilidad
de que haya n llegadas en un intervalo infinitesimal en torno a t, donde A corresponde a
que no haya llegadas, ni cambios de estado en el intervalo de tiempo (t , t   t ) , B
corresponde a que no haya llegadas y que la fase cambia del estado k al j en (t , t   t ) ,
C a que haya una llegada y que la fase cambie del estado k al j en (t , t   t ) (aunque
podría darse). Por último, o( ) contiene todas las probabilidades de todos los eventos
restantes.
34 Antonio Hernández Moreno Operando y tomando límites  t  0,
dpi , j ( n, t )
dt
m
 pi , j ( n, t ) d 0,( j , j ) 

pi , k ( n, t )·d 0,( k , j )
k 1; k  j
m
  pi ,k (n  1, t )·d1,( k , j ) ,
k 1
que matricialmente puede expresarse como sigue,
dP (0, t )

 P (0, t )·D0

dt

 dP (n, t )  P (n, t )·D  P (n  1, t )·D ;
0
1
 dt
n  1, 2,  .
Desde este resultado se puede ver la estructura matricial de la función generatriz de
momentos de un MAP. Por definición, la función generatriz de momentos de N (t ) viene
dada por

P ( z, t )   P(n, t ) z n , z  0
*
n 0
Desde las ecuaciones diferenciales anteriores, multiplicando por zn y sumando se
tiene que


dP(n, t ) n 
z   P(n, t ) D0 z n   P(n  1, t ) D1 z n 1
dt
n 0
n 0
n 1

dP* ( z , t )
 P* ( z , t ) D0  zP* ( z , t ) D1  P* ( z , t )  D0  zD1  .
dt
Por lo tanto, dado que P* ( z,0)  I y que P(n, 0)  0 para n  1, 2, … se tiene que
la función generatriz de probabilidades de un MAP viene dada por
P* ( z, t )  exp[( D0  zD1 )t ] .
NOTA. En el caso de un proceso de Poisson se tiene el mismo resultado de manera
inmediata.
El número de llegadas en (0, t ] depende del estado inicial. Por definición, el i-ésimo
elemento de P* ( z, t )·e  exp[( D0  zD1 )·t ]·e es la función generatriz de momentos del
número de llegadas en (0, t ] dado que I (0)  i . A través de siguiente expresión podemos
35 Proceso de llegadas de Markov (MAP) calcular los momentos de N (t ) dada la distribución inicial  . La función generatriz
viene dada por  ·P* ( z, t )·e .
3.3.1. SUPERPOSICIÓN DE PROCESOS MAPS
De igual forma que ocurría con los procesos de Poisson, los procesos MAPs pueden ser
superpuestos y descompuestos, además con similar comportamiento al caso
poissoniano.
Teorema 3.3.1.1. Sean {( N1 (t ), I (t )), t  0} y {( N 2 (t ), I (t )), t  0} dos procesos MAPs
con
representaciones
matriciales
( D0 , D1 ) y (C0 , C1 ) ,
independientes.
Sea
I (t )  ( I1 (t ), I 2 (t )) .Entonces {( N1 (t )  N 2 (t ), I (t )), t  0} es un MAP con representación
matricial ( D0  I  I  C0 , D1  I  I  C1 ) . Es decir, la superposición de dos Procesos
MAPs independientes es otro MAP cuya representación matricial se puede construir
usando el producto de Kronecker.
Demostración. He (2014)
NOTA: La representación matricial del MAP puede expresarse mediante la suma de
Kronecker quedando  D0  C0 , D1  C1  .
La comparación con los procesos de Poisson surge sola obteniendo un resultado
similar, la superposición de este tipo de procesos mantiene la propiedad de clausura.
Ejemplo 3.3.1.1. A continuación indicamos un ejemplo de superposición de procesos
MAPs, con representaciones matriciales
 9 0 
8 1
D0  
 ; D1  
,
 1 1
0 0
 4 1 
 0 3
C0  
 ; C1  
 .
 2 7 
 2 3
Entonces, la representación matricial del proceso MAP resultante sería formada por las
matrices:
36 Antonio Hernández Moreno 0 0
 9 0 0 0   4 1

 

0 9 0 0   2 7 0 0 

D0  C0  D0  I  I  C0 

 1 0 1 0   0 0 4 1 

 

 0 1 0 1  0 0 2 7 
0 0
 13 1


2 16 0 0 


 1
0 5 1 


1
2 8 
 0
8

0
D1  C1  D1  I  I  C1  
0

0
0
8
0
0
1
0
0
0
0  0
 
1 2

0  0
 
0  0
3
3
0
0
0
0
0
2
0

0
3

3
8 3 1 0


2 11 0 1 


.
 0 0 0 3


 0 0 2 3
3.3.2. DESCOMPOSICIÓN DE PROCESOS MAPS
Se presenta a continuación el teorema de descomposición de procesos MAPs.
Proposición 3.3.2.1. Sea un MAP {( N (t ), I (t )), t  0} con representación matricial
( D0 , D1 ) . Este proceso se puede descomponer en n tipos de llegadas usando marcados
independientes con probabilidad { p1 , p2 ,, pn } de tal forma que los procesos MAPs
resultantes
{( N j (t ), I (t )), t  0}
tienen
representación
matricial
( D0  (1  p j )·D1 , p j ·D1 ), j  1,  , n.
Demostración. He(2014)
Comparado con la descomposición de procesos de Poisson, visto en el capítulo
2.2.2., observamos un claro paralelismo, necesitando únicamente añadir en el proceso
MAP los marcados independientes para poder descomponer los procesos y sus
representaciones matriciales.
37 Proceso de llegadas de Markov (MAP) En el caso particular de dos tipos de llegadas se tiene el siguiente resultado.
Teorema 3.3.2.1. Sea {( N (t ), I (t )), t  0} un MAP con representación matricial
( D0 , D1 ) . Supongamos que las llegadas pueden ser de dos tipos 1 y 2, ocurriendo las
primeras con probabilidad p y las segundas con probabilidad 1  p . Entonces, se puede
obtener un nuevo MAP con las llegadas marcadas de la siguiente forma,
{( N1 (t ), N 2 (t ), I (t )), t  0} con representación matricial ( D0 , p·D1 , (1  p)·D1 ) . A partir de
él, podemos descomponer el proceso inicial en los procesos MAPs {( N1 (t ), I (t )), t  0} y
{( N 2 (t ), I (t )), t  0}
con
representaciones
matriciales
( D0  (1  p)·D1 , p·D1 )
,
( D0  p·D1 , (1  p)·D1 ) respectivamente. Ambos procesos cuantifican las llegadas tipo 1
y tipo 2.
Esto es así ya que, si hay una llegada asociada con tasa ( D1 ) i , j con probabilidad
p
esta llegada será marcada como de tipo 1 y su correspondiente tasa es p ·( D1 ) i , j , y
complementariamente, con probabilidad 1  p será marcada como de tipo 2 y por tanto
su tasa es (1  p )·( D1 ) i , j . En la primera de las situaciones, (1  p )·( D1 ) i , j es sumado a D0
hasta que no haya una llegada tipo 1.
Demostración. He (2014)
Hay que notar que puede que los procesos resultantes {( N1 (t ), I (t )), t  0} y
{( N 2 (t ), I (t )), t  0} no sean independientes, ya que para ambos procesos marcados las
futuras razones de llegada dependen de la fase de la Cadena de Markov inmersa.
Ejemplo 3.3.2.1. Sea el proceso MAP {( N (t ), I (t )), t  0} con representación matricial
 2 0 
 2 0
D0  
 ; D1  
 . Podemos descomponer el proceso en dos procesos con
 2 5 
2 1
marcados independientes con p1  1 / 3 y p2  2 / 3 obteniendo como resultado los
siguientes procesos MAPs,
{( N1 (t ), I (t )), t  0} con representación matricial,
 2
 3
2
C0  D0  D1  
3
 10

 3
38 
2
0 
3
1
 ; C1  D1  
13
3
2
 

3
3

0
,
1

3
Antonio Hernández Moreno y {( N 2 (t ), I (t )), t  0} con representación matricial,
 4
 3
1
E0  D0  D1  
3
 8

 3

4
0 
3
2
 ; E1  D1  
14
3
4
 

3
3

0
.
2

3
3.4. MEDIDAS DE FUNCIONAMIENTO
A continuación se van a calcular diversas medidas e introducir diversos resultados que
nos ayuden a analizar el proceso MAP. A través de la función generatriz de momentos
presentada en el capítulo 3.3. podemos obtener los siguientes resultados.
Cálculo del número esperado de llegadas hasta un tiempo t
Definimos la razón de llegadas estacionaria como    D1e , donde  es la
distribución estacionaria de D, es decir,  D  0; ·e  1.
Nota: Si D es irreducible,  es única y puede calcularse fácilmente.
En el proceso de Poisson del que surgen los procesos MAPs, el cálculo de E[ N (t )]
es inmediato aprovechando la propiedad que poseen de distribuirse probabilísticamente
a través de una distribución de Poisson de parámetro t , tal y como vimos al tratar los
procesos de Poisson. Ahora el cálculo no es tan directo pero se puede obtener
igualmente el número esperado de llegadas a partir de la función generatriz de
momentos generalizando el caso exponencial.
Teorema 3.4.1.Sea la Cadena de Markov inmersa {I (t ), t  0} irreducible o lo que es lo
mismo, D es irreducible. Entonces, el número esperado de llegadas hasta un tiempo t
viene dado por
E[ N (t )]  t   (exp( Dt )  I )( D  e )1 D1e ; t  0 ,
siendo  la distribución inicial asociada al proceso Q.
Demostración. La demostración se basa en el cálculo a partir de la función
generatriz de momentos. Puede verse en He (2014).
Nota. Claramente el caso exponencial es un caso particular de los MAPs.
39 Proceso de llegadas de Markov (MAP) De igual forma podemos hacer con su varianza, donde en este caso no se obtiene
una expresión tan fácilmente comparable con los procesos de Poisson.
Teorema 3.4.2.: Asumiendo que la Cadena de Markov subyacente {I (t ), t  0} es
irreducible o lo que es lo mismo, D es irreducible. Entonces, la función de varianza del
número de llegadas hasta un tiempo t viene dada por
Var[ N (t )]  (  2 2  2 D1 ( D  e )1 D1e)t
 2 D1 ( D  e ) 1 ( exp ( Dt )  I )( D  e ) 1 D1e . Demostración. De nuevo la demostración se obtiene desde la función generatriz de
probabilidades y el resultado anterior. He (2014)
Nota. En el caso exponencial se tiene que D  0, D0   , D1   quedando
Var ( N (t ))  (  2 2  2 2 (e )1 e)t  t .
Calculamos ahora el índice de dispersión que pasamos a definir.
Definición 3.4.1. Se define el índice de dispersión de N (t ) como Var[ N (t )] / E[ N (t )] .
Para el proceso de Poisson, el número de llegadas en intervalos no solapados son
independientes. En MAP sin embargo son correlados. Pero son condicionalmente
independientes, es decir, si I (t ) es conocida el proceso de llegada en (t , t  s ) es
independiente en (0, t ] . Basado en esta independencia condicional, la correlación puede
ser obtenida explícitamente para el caso estacionario. Sea N (t , t  s)  N (t  s)  N (t ),
dado pij (n1 , t , n2 , s)  P[ N (t )  n1 , N (t , s  t )  n2 , I (t  s)  j | I (0)  i] para i,j = 1,…,m y
n1 , n2  0,1, 2
Para poder obtener otras expresiones de los momentos de un proceso MAP,
necesitamos el cálculo de su función característica, con ella el cálculo de momentos es
inmediato. Los dos siguientes resultados lo ilustran.
Se define pi*, j ( z1 , t , z2 , s ) como la función generatriz de probabilidad conjunta de
*
*
{ pi , j ( n1 , t , n2 , s ); n1 , n2  0,1, 2  , i , j  1,  , m} y P ( z1 , t , z2 , s )  ( pi , j ( z1 , t , z2 , s )) m*m .
Teorema 3.4.3. P* ( z1 , t , z2 , s)  exp(( D0  z1D1 )t )·exp(( D0  z2 D1 )s)
40 Antonio Hernández Moreno Demostración. A través de la propiedad de Markov de I (t ) . He (2014).
Corolario 3.4.1. Suponiendo que la cadena de Markov inmersa {I (t ), t  0} es
irreducible o lo que es lo mismo, D es irreducible. Entonces, dado I (0) tiene
distribución  ,se tiene que
i)
ii)
E[ N (t , t  s)]   s
E[ N (t ) N (t , t  s )]   2ts   D1 ( D  e ) 1 (exp ( Dt )  I )·
 (exp ( Ds )  I )( D  e ) 1 D1e
Demostración. He (2014)
3.5. COMPARACIÓN DEL PROCESO DE POISSON Y MAP
A lo largo de la descripción de las propiedades de los procesos MAPs ha quedado en
evidencia un paralelismo claro con los procesos de Poisson de los que proviene. En el
siguiente cuadro se comparan de forma resumida las características de ambos procesos,
que han sido descritas con anterioridad.
41 Proceso de llegadas de Markov (MAP) PP
MAP
( D0 , D1 )

Parámetro
Tiempo
entre
llegadas
Tasa de llegada
exp( )
General distribution

t
t
 D1·e
E[N(t)]
Var[N(t)]
Propiedades
Falta de memoria
Propiedad
Cerrada
Composición
Superposiciones independientes
 ·t    exp  Dt   I  ( D  e ) 1 D1 ·e
(   2  2  2 D1 ( D  e )  1 D1 e ) t 
2 D1 ( D  e )  1 ( exp ( D  e )  I )( D  e )  1 D1 e
Falta de memoria parcial
Aproximación a cualquier proceso de recuento
Superposiciones independientes
N1 (t ),, Nk (t ) Procesos Poisson {( N1 (t ), I (t )), t  0}
y
independientes
con
parámetros {( N (t ), I (t )), t  0}
procesos
MAPs,
2
1 ,, k respectivamente, entonces
representaciones matriciales ( D0 , D1 ) y
N1 (t )  N k (t ) es también un
(C0 , C1 )
,
independientes.
Sea
PP con parámetro 1  k .
I (t )  ( I1 (t ), I 2 (t ))
.Entonces
{( N1 (t )  N 2 (t ), I (t )), t  0} es un MAP
con
Descomposición
42 matricial
( D0  I  I  C0 , D1  I  I  C1 )
Eventos de un proceso de Marcados
independientes
Poisson {N ( s), s  0} de dos { p1 , p2 ,, pn } ; Procesos MAPs
tipos, A y B. Sea 0
1 la resultantes
{( N j (t ), I (t )), t  0}
probabilidad de que un evento
representación
matricial
sea del tipo A y q  1  p la
D  (1  p j )·D1 , p j ·D1  , j  1,  , n.
probabilidad de que el evento  0
sea del tipo B. Los procesos
{N A (s), s  0} ,y {N B (s), s  0}
son procesos independientes de
Poisson con parámetros  p y
 (1  p) respectivamente.
Cuadro 3.5.1. Comparación PP MAP
representación
CAPÍTULO 4
PROCESO DE LLEGADAS DE MARKOV
EN GRUPO (BMAP)
4.1. INTRODUCCIÓN
En este capítulo se van a introducir los procesos de llegadas de Markov por grupos
(Batch Markovian Arrivals Process, BMAP). Los BMAP generalizan a los procesos
MAPs considerando llegadas en grupos. Centrándonos en los BMAP, prestaremos
atención a la interpretación de las razones de llegada.
En un MAP con representación matricial ( D0, D1 ) , tal y como acabamos de definir y
analizar en el capítulo 3, los elementos de D0 son interpretados como las razones de
ocurrencia de un evento sin haber llegadas, y D1 lo mismo pero con llegadas.
Una manera de generalizar los procesos MAPs es dividir las tasas de llegada en D1
y asignar diferentes significados a los mismos. Intuitivamente, un proceso de llegadas
de Markov en grupo, BMAP, es un proceso estocástico que generaliza el proceso de
Poisson estándar (así como otros procesos estocásticos) permitiendo grupos en las
llegadas, tiempos entre llegadas dependientes, distribuciones de tiempos entre llegadas
no exponenciales y tamaños de grupo correlacionados. Los procesos MAPs es un
BMAP donde el tamaño del lote queda restringido a la unidad. Estos resultados pueden
consultarse en el trabajo de Lucantoni (1991).
Una de las aplicaciones de los procesos MAPs y más concretamente de los procesos
BMAP está en que su estructura proporciona un análisis de sistemas usando métodos
analíticos matriciales, pudiendo obtener sistemas en el campo de teoría de colas como
MAP/G/1 en un versión básica y BMAP/G/1 en una versión ampliada. Para ampliar este
resultado puede consultarse Lucantoni (1993).
43 Proceso de llegadas de Markov en grupo (BMAP) Introducimos los BMAP mediante el siguiente ejemplo.
Ejemplo 4.1.1. Para el MAP ( D0, D1 ) definido en el capítulo 3, si una llegada ocurre, un
cliente llega. En lugar de interpretar D1 como la razón del evento llegada de un cliente
podríamos interpretarlo de la siguiente manera: i) D1 es la matriz de razones de un lote
de 5 clientes; ii) Si una llegada ocurre según D1 con probabilidad 0.1, un cliente llega;
con probabilidad 0.2, dos clientes llegan; con probabilidad 0.3, 3 clientes llegan; y con
probabilidad 0.4, 4 clientes llegan. En este caso, podemos escribir las razones de llegada
en cuatro matrices que reflejen el número de clientes en distintos grupos de llegadas:
0.1·D1 , 0.2·D2 , 0.3·D3 , 0.4·D4 .
4.2. DEFINICIONES
De igual forma que se hizo en los procesos MAPs, vamos a introducir los procesos
BMAPs a través de las 4 definiciones introducidas en el capítulo 3 viendo una
equivalencia clara entre ambos tipos de procesos
Definición 4.2.1. Sean {D1 , D2 , D3 ,, DN } matrices de orden m no negativas, D0 con
valores no negativos fuera de su diagonal principal y con valores negativos en su
diagonal, m un entero positivo y N entero positivo (pudiendo ser  ). Sea
D  D0  D1  DN , un generador infinitesimal. Sea D0  (d0(i , j ) ); Dn  (d n(i , j ) ) para
n  1,, N . Entonces {D0 , D1 , D2 , D3 ,, DN } define un BMAP {( N (t ), I (t )), t  0} como
sigue:
i)
Sea N (0)  0 .
ii) La matriz generador D define una CMTC {I (t ), t  0} a través de D.
iii) Para el estado i, con d n (i ,i )  0 , define un proceso de Poisson con razones de
llegada d n (i ,i ) con n  1, , N ; i  1, , m . El proceso de Poisson estará
operativo si I  t   i y no operativo en otro caso.
iv) Para i  1,, m , si I (t )  i y una llegada del proceso de Poisson con razón
d n (i ,i ) entonces N (t ) se incrementa en n unidades, con 1  n  N .
v) Al final de cada permanencia en el estado i, con probabilidad
d 0(i , j )
 d ( i ,i )
, donde
d(i ,i )  d0(i ,i )  d1(i ,i )  d N (i ,i ), I (t ) pasa del estado i al j y N (t ) no varía. Al
44 Antonio Hernández Moreno final de la permanencia en el estado i pasa al estado j incrementándose n
d
unidades N (t ) con probabilidad n (i , j ) para 1  n  N ; i  j .
 d ( i ,i )
Llamamos {D0 , D1 , D2 , D3 ,, DN } a la representación matricial del BMAP
{( N (t ), I (t )), t  0} , donde {I (t ), t  0} es la Cadena de Markov subyacente del BMAP.
Remarcamos que d1(i , j )  d N (i , j ), es la razón de un evento llegada de clientes si el
proceso pasa de la fase i a la j. Si tal evento ocurre, con probabilidad
d n (i , j )
d1( i , j )  d N (i , j )
el tamaño del lote es n, para 1  n  N .
A continuación se introducen distintos ejemplos poniendo de manifiesto la
versatilidad del modelo.
Ejemplo 4.2.1.
1.
Proceso
de
Poisson
Compuesto:
D0  ( ), D1  (1 ),, DN  (N ) con
N
  i . Para un evento llegada el tamaño serán clientes con probabilidad
i 1
2.
Proceso de Poisson en grupo: si en el caso anterior la probabilidad de que las
llegadas sean de tamaño n con probabilidad pn el proceso resultante es BMAP,
con matriz generadora dada por
  p1 p2 

0  p1
Q
   

  
3.
4.
n
.



p1

pk 
pk 1



pk 
pk 1




.
pk  


 2  4 1.6 
 4 0, 4 
En un MAP tal que D0  
 , D1  
 se puede plantear una
10 
 3
6 0 
división de
para obtener un BMAP de la siguiente forma,
 2 0.2  ˆ  2 0, 2 
D̂1  
 , D2  
.
3 0 
3 0 
Proceso de renovación Tipo Fase en grupo: Supongamos que las llegadas
llegan acorde a un proceso de renovación { n : n  0} . El proceso de renovación
tipo-fase es un proceso de renovación con tiempos entre renovaciones dados
por Sn   n 1   n , n  0 , tipo fase con representación ( ,T ) con T de orden m.
45 Proceso de llegadas de Markov en grupo (BMAP) El
proceso
de
renovación
tipo
fase
en
grupo
será
BMAP
con
D0  T ; Dk  pkT  ; k  1; siendo T  Te .
0
0
Se ha comentado en varias ocasiones la relación entre MAP y BMAP. En el
siguiente resultado queda mostrada.
Propiedad 4.2.1. Podemos ver claramente la relación existente entre MAP y BMAP a
través de las siguientes propiedades aditivas. Si {D0 , D1 , D2 , D3 ,, DN } es un BMAP
entonces,
1.
{D0 , D1  D2  DN } es un MAP
2.
{D  Dk , Dk } es un MAP para cualquier k.
Demostración. Al lector.
Sea {( N (t ), I (t )), t  0} un proceso estocástico BMAP con espacio de estados
{0,1, 2,}x{1, 2,, m}. Como sabemos la variable N (t ) es creciente en t, pudiendo en un
solo salto crecer a lo sumo N unidades. De forma similar al caso general MAP,
{( N (t ), I (t )), t  0} es una Cadena de Markov en Tiempo Continuo (CMTC) y por tanto
tenemos abierta la vía análoga al MAP para la definición a través de la CMTC.
Definición 4.2.2. Sea {D0 , D1 , D2 , D3 ,, DN } tal que satisface las condiciones dadas en
la definición 4.2.1.. Entonces, un BMAP (MAP en grupo) puede definirse como una
CMTC {D0 , D1 , D2 , D3 ,, DN } con N (0)  0 y generador infinitesimal
 D0

0
Q



D1
D0


D2  DN
D1  DN 1
D0 D1 
  

DN
DN 1




.
DN 


Para un BMAP, se define el proceso de renovación de Markov
{( I n , J n , n ), n  0,1, 2,} donde I n es la fase justo después de la n-ésima llegada
(grupo), J n es el tamaño del n-ésimo lote y  n es el tiempo entre llegadas,
concretamente entre las llegadas n y n1. {( I n , J n , n ), n  0,1, 2,} satisface que para
x  0, k  1,, N
46 Antonio Hernández Moreno x

P( I n  j; J n  k , n  x | I n1  i)    exp( D0t )dtDk 
0
i , j
Definición 4.2.3. De forma paralela a las definiciones de un MAP, podemos seguir
construyendo el caso BMAP. Asumiendo que {D0 , D1 , D2 , D3 ,, DN } satisface las
condiciones de la primera definición BMAP y sea I (t ) la fase de la CMTC con
generador infinitesimal D  D0  D1  DN en un tiempo t. Definimos el proceso de
renovación de Markov {( I n , J n , n ), n  0,1, 2,} usando la definición anterior siendo
{N (t )  k}   n 0 { 1   n  t , J1  J n 1  k  J1  J n } . En estas condiciones
{( N (t ), I (t )), t  0} es un BMAP.
Los MAP, BMAP y distribuciones tipo fase están relacionados dada su estructura
inmersa markoviana. El siguiente ejemplo muestra un primer resultado.
Ejemplo 4.2.2. En un BMAP, si I (t ) tiene distribución  entonces la distribución del
tiempo hasta la primera llegada después de un tiempo t es tipo fase con representación
PH ( , D0 ) . De igual forma, la distribución del tiempo hasta la primera llegada de un
lote de tamaño k, después de un tiempo t es PH ( , D  Dk ).
Definición 4.2.4. Como en el caso MAP, hay una cuarta definición de BMAP, que es
una generalización de la vista en MAP. Sea { i ,1  i  m} números no negativos cuya
suma es la unidad. Sean {d0(i , j ) , i  j, i, j  1,, m)} y {dn(i , j ) , i, j  1,, m)} números
no negativos con m entero finito positivo y n  1, , N . Asumiendo que
 d 0( i ,i )  d 0( i ,1)  d 0( i ,i 1)  d 0( i ,i 1)  d 0( i ,m )  d1( i ,1)  d1( i ,i )  
 d1( i ,m )   d n ( i ,1)   d n ( i ,i )   d n ( i ,m )  0 ,
para cualquier i= 1,…, m. Se define el proceso estocástico {( N (t ), I (t )), t  0} como
sigue.
1) Sean m·(( N  1)m  1) procesos de Poisson independientes con parámetros
{d0(i , j ) , i  j, i, j  1,, m} y {d n(i , j ) , i, j  1,, m; n  1,, N} . Si alguno de esos
parámetros vale 0, el proceso de Poisson no tiene eventos.
2) I (0) viene dado por la distribución inicial de probabilidad { i ,1  i  m} , con
N (0)  0.
47 Proceso de llegadas de Markov en grupo (BMAP) 3) Si I (t )  i,1  i  m, I (t ) y N (t ) permanece igual hasta que ocurre el primer
evento en los ( N  1)m  1 procesos de Poisson correspondientes a
{d0(i , j ) , i  j, i, j  1,, m} y {dn (i , j ) , i, j  1,, m; n  1,, N} . Si el siguiente
evento viene del proceso de Poisson correspondiente a d0(i , j ) la fase de la
variable I (t ) cambia de i a j y N (t ) no sufre cambio,  j  1, , m; j  i. Sin
embargo, si el siguiente evento viene del proceso de Poisson correspondiente a
dn(i , j ) la fase de la variable I (t ) cambia de i hacia j y N  t  se incrementa en n
unidades, es decir, han ocurrido n llegadas,  j  1,, m y 1  n  N .
Se demuestra que
i)
El tiempo de permanencia en {(n, i)} del proceso {( N (t ), I (t )), t  0} , se
distribuye exponencialmente con parámetro d 0,( i ,i ) , para i  1, , m .
ii) La probabilidad de que la próxima fase sea j y que no haya llegada es
d 0( i , j )
, dado que el estado actuales (n, i); i  j, i, j  1,, m y n  0,1, 2
 d 0( i ,i )
iii) La probabilidad de que la nueva fase sea j y que haya k llegadas es
d k (i , j )
,
dado
que
el
estado
actuales (n, i )
para
 d 0( i ,i )
i, j  1,, m; n  0,1, 2.. y k  1,, N .
iv) El tiempo de permanencia de {I (t ), t  0} en la fase i se distribuye según
una
distribución
exponencial
de
parámetro
d0(i ,i )  (d1(i ,i ) )  (d2(i ,i ) )  (dn(i ,i ) )) i  1,, m .
v) Sea {I (t ), t  0} D0  (d0(i , j ) ), Dk  (dk (i , j ) ) . Se demuestra que {I (t ), t  0}
es una CMTC con generador infinitesimal D  D0  D1  Dk .
vi) {( N (t ), I (t )), t  0} es una CMTC con generador infinitesimal dado por
 D0

0
Q



D1
D0


D2  DN
D1  DN 1
D0 D1 
  

DN
DN 1




.
DN 


4.3. PROPIEDADES DE LOS PROCESOS BMAPS Y MEDIDAS DE
FUNCIONAMIENTO
En la siguiente sección se van a calcular distintas medidas de funcionamiento de los
procesos BMAPs así como ver ciertas propiedades de los mismos. Para ello,
48 Antonio Hernández Moreno comenzamos calculando las expresiones de la función generatriz de momentos y de su
esperanza, pues estos resultados aparecen en diversas propiedades.
Para analizar el proceso de recuento {N (t ), t  0} de un BMAP y obtener las
primeras medidas de funcionamiento se definen las siguientes probabilidades de
transición
{ pij ( n , t ), i , j  1,  , m} ,
P(n, t )  ( pij (n, t ))mxm  P[ N (t )  n; I (t )  j / I (t )  i] .
Las ecuaciones diferenciales para su cálculo se pueden obtener de forma análoga a
como se obtuvieron para el caso MAP en el capítulo 3.
m
pij (n, t   t )  pij (nt )·(1  ( d 0( jj )) · t   pik (n, t )d 0( kj ) · t
k 1
k j

Min ( N , n ) m
 p
ik
l 1
(n  1, t )·dl ,( kj ) · t  o( t ))
k 1
dP(n, t )
 P(n, t )·D0  P(n  1, t )·D1  P[n  Min( N , n), t ]·DMin ( N ,n )
dt
La interpretación de estas expresiones es clara, ya que P(n  i, t ) Di es la matriz de
transiciones que hay entre n  i clientes en el sistema en un tiempo t, y los i que llegan
en t. En consecuencia, habrá n  i  i  n clientes tras un tiempo t.
Siguiendo pasos similares a los realizados para el caso MAP, se obtiene la función
generatriz de probabilidades. El siguiente teorema muestra el resultado.
Teorema 4.3.1. La función generatriz de probabilidades de un BMAP con P (n, t )
definido anteriormente viene dado por

P* ( z, t )   P(n, t ) z n  exp[( D0  zD1  z 2 D2    z N DN )t ] ,
n 0
si notamos D0  zD1  z 2 D2    z N DN  D* ( z ) entonces P* ( z, t )  exp[ D* ( z )t ] .
Demostración: He (2014)
La interpretación del resultado anterior es intuitiva. En la expresión, z k está
relacionado con Dk , donde Dk es la matriz de razones de llegadas de grupos de tamaño k.
49 Proceso de llegadas de Markov en grupo (BMAP) D* ( z) puede considerarse como la función generatriz de las razones del número de
clientes que llegan por unidad de tiempo, y por tanto su exponencial es la función
generatriz de probabilidad del número de clientes llegados en [0, t ].
Conocida la función generatriz dada en el resultado anterior, se pueden calcular
distintas medidas del proceso BMAP. La expresión de E[ N (t )] en los procesos BMAPs
es dada por el siguiente resultado.
Teorema 4.3.2. Sea {I (t ), t  0} una CMTC irreducible, es decir, D es irreducible. Dada
α la distribución inicial, se tiene que
 N

E[ N (t )]   t   (exp( Dt  I )( D  e ) 1   jD j e ); t  0;
 j 1

donde  y  es la distribución estacionaria e inicial de D respectivamente y

N


j 1

     jD j  e .
Demostración. He (2014)
NOTA. Este resultado generaliza el caso MAP donde se considera N  1.
La interpretación de la razón de llegada estacionaria  viene dada por la expresión

P * ( z , t )
z
e  t .
z 1
La razón de llegada de grupos (que no el número total de llegadas) es dado por
N
ˆ   (D j )e, y concretando aún más, la tasa de llegada de grupos de tamaño j es
j 1
 j  D je .
Los procesos BMAP mantienen unas similitudes en cuanto a sus propiedades con
los procesos MAPs. Analizamos a continuación los principales resultados.
El siguiente teorema muestra la potencia de los procesos BMAPs. Esta clase de
procesos es densa en el conjunto de los procesos de llegadas, de forma que cualquier
proceso de llegadas puede ser aproximado tanto como se quiera mediante un BMAP.
Teorema 4.3.3. Cualquier proceso de llegada estocástico puede ser aproximado por un
BMAP.
50 Antonio Hernández Moreno Demostración. Asmussen y Koole(1993)
Comentario. Casi todos los resultados aportados anteriormente para los MAP pueden
generalizarse para los BMAP. Este resultado, junto con el teorema de Asmussen y
Koole (1993) advierten de la importancia y gran aplicabilidad en la modelización
estocástica que obtenemos al usar procesos BMAPs, ya que numerosas situaciones
reales pueden ser aproximadas a través de ellos.
Teorema 4.3.4. Para cualquier distribución inicial  se tiene que
E[ N (t )]
lim
.
t 
t
La relación entre MAP y BMAP queda de nuevo expuesta a través del siguiente
resultado.
Teorema 4.3.5. Sea X  PH (  , T ) . Para un BMAP el número de llegadas en [0, X ]
tiene función generatriz de probabilidad
1
N


(   )  I  (( D0  I  I  T )) 1 z k ( Dk  I )  (( D0  I  I  T )) 1 (e  T 0 ) .
k 1


Llegado a este punto, durante la definición en el capítulo 3.3. dedicado a los
procesos MAPs, analizamos las propiedades de superposición y descomposición de
procesos MAPs bajo ciertas condiciones. Analizamos estas propiedades para los
procesos BMAPs.
4.3.1. SUPERPOSICIÓN DE PROCESOS BMAPS
Como ocurrió en el caso de los procesos MAPs, una de las propiedades más interesantes
y de más utilidad de los procesos BMAPs, tal y como ocurría en los procesos MAPs, es
que la superposición de procesos BMAPs es igualmente BMAP. Este resultado queda
demostrado en el siguiente teorema.
Teorema 4.3.1. Sean los procesos BMAPs independientes ( D1 , D2 ,, DN ) de orden m1
y (C1 , C2 ,, CM ) de orden m2 . El proceso de superposición es también un BMAP con
representación
matricial D0  I  I  C0 , Dn  I  I  Cn ; n  1, 2,
,
es
decir,
D0  C0 , Dn  Cn , n  1, 2,
51 Proceso de llegadas de Markov en grupo (BMAP) Demostración. Cordeiro and Kharoufch (2012)
Como se observa el resultado es muy similar al caso de los procesos MAPs, pero
ampliada al trabajar con una representación matricial de mayor orden, manteniendo la
clausura como propiedad.
4.3.2. DESCOMPOSICIÓN DE PROCESOS BMAPS
De igual forma interesa estudiar qué ocurre en el caso de descomposición de procesos
BMAPs. Al igual que en el caso de la descomposición del proceso de Poisson y de los
procesos MAPs, existen varias formas de proceder al marcado, por ejemplo, marcado
grupal, marcado individual,…, de los sucesos de llegada.
A partir del método elegido se obtienen las expresiones de los procesos de llegada
de Markov resultantes, siguiendo el camino abierto en el caso de procesos MAPs.
Proposición 4.3.2.1. Sea {( N (t ), I (t )), t  0} un BMAP con representación matricial
{D0 , D1 , D2 , D3 ,, DN } .Se puede descomponer el proceso BMAP en n tipos de llegadas
usando marcadores independientes con probabilidades { p1i ,, pni } i  1, , N . Así, los
procesos {( N j (t ), I (t )), t  0} son procesos BMAPs con representación matricial
n


D

 0  (1  p ji ) Di , p ji Di  para j  1,, n ; i  1,, N .
i 1


Demostración. Cordeiro and Kharoufch (2012)
Nota. El paralelismo que se observa en la descomposición de los procesos BMAPs
comparado con los procesos MAPs es total, con la única y lógica diferencia de la
representación matricial distinta que poseen los BMAPs al tener que trabajar con
grupos. 52 CAPÍTULO 5
PROCESO DE LLEGADAS DE MARKOV
MARCADAS (MMAP)
5.1. INTRODUCCIÓN
Los procesos de llegada de Markov con llegadas marcadas (MMAP) son un paso más
en el ambiente de generalización de los procesos MAPs que hemos llevado a cabo al
obtener los BMAP. Ahora se trata de generalizaciones de los procesos BMAPs con
diferentes tipos de llegadas, clientes, ítems… La idea es asignar diferentes
interpretaciones de eventos según sean las razones de llegada. Para introducir los
MMAP definimos un conjunto de índices C 0 que distinguen los distintos tipos de
llegada. Comenzamos con distintos ejemplos que motivan el capítulo que se va a
desarrollar.
Ejemplo 5.1.1.En un problema MMAP los elementos de C0 pueden ser cualquier cosa
de interés en modelización estocástica.
1)
C 0  {hombre, mujer ,{hombre, mujer , niño}} donde hay tres elementos.
C 0  { A, B, AA, AB, BA, BB, ABB, BAB} donde hay dos tipos de clientes, A y B,
que pueden llegar individualmente (dos primeros casos), por parejas (siguientes
4 casos), o por tríos, considerando además el orden de llegada.
3) C 0  { A, AA, AAA,, AAA AAA} donde sólo habría un tipo de cliente pero en
grupo. En este caso el conjunto de índices nos llevaría a la definición de
BMAP.
2)
53 Proceso de llegadas de Markov marcadas (MMAP) 5.2. DEFINICIONES
Hemos comentado que un proceso MMAP es una generalización de los procesos
BMAPs y MAP. Veamos que las 4 definiciones vistas para esos casos, con ligeras
modificaciones tienen vigencia en los procesos MMAP.
Definición 5.2.1. Sea C 0 un conjunto de índices. Sean { Dh : h  C 0 } matrices no
negativas, con D0 una matriz con elementos no negativos fuera de la diagonal principal
y negativos en dicha diagonal. Sea D  D0 
 D un generador infinitesimal de orden
h
hC 0
m, siendo m un entero positivo. Sea D0  (d0(i , j ) ), Dh  (dh (i , j ) ) para h  C 0 . Entonces
{D0 , Dh : h  C 0 } define un MMAP de la siguiente forma {N h (t ), h  C 0 , I (t ), t  0}
1)
Nh (0)  0, h  C 0
2) La matriz D define una CMTC {I (t ), t  0}
3) Para una fase i con d h ( i ,i )  0 , se define un proceso de Poisson con tasa de
llegada d h ( i ,i ) , para h  C 0 ,1  i  m . El proceso de Poisson estará operativo si
I (t )  i . En otro caso está no operativo.
4) Para 1  i  m , h  C 0 , si I (t )  i y hay una llegada del proceso de Poisson d h ( i ,i )
, entonces N h (t ) se incrementa en 1 unidad.
5) Al final de cada permanencia en el estado i, con probabilidad
d 0( i , j )
 d ( i ,i )
, I (t ) pasa
del estado i al j y N h (t ) se mantiene igual, es decir, sin llegadas.
probabilidad
d h (i, j )
 d ( i ,i )
Con
, I (t ) pasa del estado i al j y N h (t ) se incrementa en una
unidad, y otra N u (t ) , con 1  i  m , u  C 0 , u  h , permanece igual sin llegadas.
A
{ D0 , D h : h  C 0 }
se
le
llama
representación
matricial
del
MMAP
{N h (t ), h  C 0 , I (t ), t  0} y {I (t ), t  0} es la Cadena de Markov subyacente.
Ejemplo 5.2.1. Procesos de entrada y salida en colas de Markov. Las colas de Markov
se describen por cadenas de Markov de parámetro continuo. Para colas de capacidad
finita, podemos etiquetar las transiciones correspondientes a una llegada como a,
aquellas correspondientes a una salida por d. El conjunto de índices asociado al proceso
54 Antonio Hernández Moreno MMAP C 0 ahora estará formado por los elementos a y d y la matriz de tasas de
transición D estará formada lógicamente por la suma de las matrices D0 , Da y Dd .
Los procesos MMAP son usados frecuentemente modelizando procesos de entrada
de sistemas estocásticos con muchos tipos de asuntos (por ejemplo, clientes o pedidos).
En telecomunicaciones, por ejemplo, una red multiservicio provista de servicios de voz,
datos y videos. La naturaleza de la información transmitida desde esas fuentes es
radicalmente distinta. Una formulación uniforme para describir la entrada de procesos
mientras cada fuente es todavía distinguible será útil para el análisis de la influencia de
la información de cada fuente en el sistema. En fabricación, los pedidos de varios
artículos son comunes en la práctica. Los MMAP pueden usarse para modelizar los
procesos de demanda de los niveles de los artículos de modo que un análisis del
inventario puede llevarse a cabo en términos de artículos individuales mientras las
correlaciones de los distintos artículos se consideran.
Definición 5.2.2. Sean { D0 , Dh : h  C 0 } satisfaciendo las condiciones de la definición
anterior de MMAP. Definimos la CMTC {N h (t ), h  C 0 , I (t ), t  0} con las razones de
transición dadas por { D0 , Dh : h  C 0 } tal que cada Dh corresponde al incremento en
una unidad de N h (t ) para el h  C 0 correspondiente. En este caso, la CMTC
{N h (t ), h  C 0 , I (t ), t  0} es un MMAP.
Para un MMAP se define un proceso de renovación de Markov
{( I n , J n , n ), n  0,1, 2,} donde I n es la fase justo después de la n-ésima llegada, J n es
el tipo del n-ésimo llegada y  n es el tiempo entre llegadas, concretamente entre las
llegadas n y n1.
Así,
x

P[ I n  j, J n  h, n  x | I n1  i]    exp( D0t )dtDh  ,
0
i , j
que prácticamente es la misma expresión vista en BMAP cambiando el significado y
grafía de Dk por el Dh actual.
Definición 5.2.3. Sea { D0 , Dh : h  C 0 } satisfaciendo las condiciones de la definición
inicial de MMAP. Sea I (t ) la fase de la CMTC definida por D en t. Sea
55 Proceso de llegadas de Markov marcadas (MMAP) { N h (t )  n} 
  { 1     k  t , L{ J1  h}  L{ J 2  h}    L{ J k  h}  n  L{ J1  h}  L{ J 2  h}    L{ J k 1  h}}
k 0
donde L{} es la función indicadora. En tales condiciones {N h (t ), h  C 0 , I (t ), t  0} es un
MMAP.
La familia de MMAPs es versátil. Así, añadiendo fases y asignando razones de
transición de forma adecuada, una amplia gama de procesos de llegadas con especiales
características pueden ser construidos como MMAPs. Veamos algunos ejemplos.
Ejemplos 5.2.2.
1) Llegadas cíclicas. Si 1 y 2 llegan cíclicamente.
 0 0
 4 0 
0 4
D0  
 ; D1  
 ; D2  
.
 0 7 
0 0
 7 0
2) Individual frente a grupo. Cada llegada de tipo 2 es acompañada de una llegada
de tipo 1.
0 1
 10 0 
9 0
D0  
 ; D1  
 ; D2,1  
.
 0 5 
0 4
1 0
4) Tras Tipo 2 sigue llegada tipo 1.
0 0
 5 0 
3 2
D0  
 ; D1  
 ; D2,1  
.
 0 10 
0 0
8 0
5) Pedidos en grupos individuales.
 5 0 
 4 0
0 1
D0  
 ; D1  
 ; D1,2,1  
y
 0 10 
0 9
1 0
 5 0 
 4 0
0 1
D0  
 ; D311211  
 ; D1213312  
 si los pedidos sin grupo ocurren.
 0 10 
0 9
1 0
Definición 5.2.4. Como en el caso MAP y BMAP, hay una cuarta definición de MMAP,
que es una generalización de la vista en los anteriores tipos de procesos. Sea
{i ,1  i  m} números no negativos cuya suma es la unidad. Sean
{d0(i , j ) , i  j, i, j  1,, m)} y {d h (i , j ) , i, j  1,  , m, h  C 0 } números no negativos con m
56 Antonio Hernández Moreno entero finito positivo. Asumiendo que d 0( i ,i ) 
m

m
d 0(i , j )  d h (i , j )  0  i  1, , m
j 1; j  i
h C 0 j 1
.Se define el proceso estocástico {N h (t ), h  C 0 , I (t ), t  0} como sigue
1) Se definen procesos de Poisson independientes con parámetros
{d0(i , j ) , i  j, i, j  1,, m)} y {d h (i , j ) , i, j  1, , m, h C 0 } . Si alguno de esos
parámetros vale 0, el proceso de Poisson no tiene eventos.
2) I (0) viene dado por la distribución de probabilidad inicial {i ,1  i  m} , con
N h (0)  0; h  C 0 .
3) Si I (t )  i,1  i  m, I (t ) y {Nh (t ); h  C 0 } permanecen igual hasta que el
primer evento ocurra en los procesos de Poisson correspondiendo a
{d0(i , j ) , i  j, i, j  1,, m)} y {d h (i , j ) , i, j  1,  , m, h  C 0 } . Si el siguiente
evento viene del proceso de Poisson correspondiente a d0(i , j ) la fase de la
variable I (t ) transiciona de i hacia j y {Nh (t ); h  C 0 } no cambia,
 j  1, , m; j  i. Sin embargo, si el siguiente evento viene del proceso de
Poisson correspondiente a dh(i , j ) la fase de la variable I (t ) cambia de i hacia j y
{Nh (t ); h  C 0 } se incrementa en una unidad o en un número preespecificado
(tamaño del grupo) en su grupo h y {Nl (t )} se mantiene igual con l  h, l  C 0 ,
h C0 .
Además se demuestra que,
i) {I (t ), t  0} es una CMTC con generador infinitesimal dado por
D  D0 
D .
h
hC 0
ii) {N h (t ), h  C 0 , I (t ), t  0} es un MMAP con tasas de transición
{D0 , Dh , h  C 0 } .
5.3. PROPIEDADES
Las llegadas de un proceso MMAP, siendo de diferentes tipos, son útiles para conocer
cómo distinguirlas o para examinar cuando la llegada de un cierto tipo ocurre. También
es útil para ver cómo los procesos de llegada de un tipo especial afectan al
comportamiento de los procesos N all (t ) (Procesos descritos en He (2014) y Neuts
57 Proceso de llegadas de Markov marcadas (MMAP) K
(1998)) , N all (t )  N k (t ) .
k 1
1.
Tipos de llegada: Consideramos la etiqueta de una llegada, la etiqueta de la última
llegada antes del tiempo t, o la etiqueta de la primera llegada después de un tiempo
t. Hay tres modos de observar las llegadas. Sea C 0  {h1 ,  , hn0 } donde n0 es un
entero finito positivo. Sea L(t ) dada por la etiqueta de la última llegada antes de un
tiempo t y sea J (t ) componente de un proceso de renovación de Markov
{( J n , Ln , n ), n  0} (descrito en He (2004); Neuts(1998)). En este caso ( L(t ), J (t ))
es un proceso de Markov con generador infinitesimal
Dh0 
 D0  Dh1 


Q 



.
 D
 D0  Dh0 
h1

Más resultados sobre los procesos MMAP vienen al considerar la distribución
estacionaria.
Teorema 5.3.5. Se tienen los siguientes resultados:
i.
Backwardlooking: La probabilidad de que la última llegada antes de un
tiempo arbitrario t es marcada por h es dada por  Dh D01e, h  C 0 .
ii.
Fordwardlooking: La probabilidad de que la primera llegada después de un
tiempo arbitrario t es marcada por h es dada por  D01Dhe, h  C 0 .
iii.
Para la llegada: la probabilidad de que una llegada arbitraria sea de tipo h
λ *h
viene dada por * , donde λ *h   Dh e, h  C 0 y θ la distribución estacionaria
λ
asociada a la CMTC con generador D.
Demostración. He (2004); Neuts (1998)
2.
Procesos de finalización: Consideremos un tiempo de parada  de
{J (t ), L(t ), N (t ), t  0} de un MMAP. Un proceso de finalización está definido
como un proceso estocástico el cual es idéntico al MMAP antes de  y termina se
en J ( ) tras  .Para el proceso de finalización sea J ( t ) la fase en t, y el vector
N (t ) el número de llegadas de los diferentes tipos en t. Así:
58 Antonio Hernández Moreno  J (t ) si t  
J ( t)  
 J ( ) si t  
 N (t ) si t  
N ( t)  
 N ( ) si t  
Específicamente, si  tiene distribución tipo fase con representación ( , T ) ,
podemos definir MMAP* como superposición de MMAP y del proceso de
renovación tipo fase con tiempos entre llegadas  . El MMAP* tiene K+1 tipos de
ítems y matrices con coeficientes
D0  T , Dh  I , h  C 0 ,  I  Te .
5.3.1. PROPIEDADES DE SUPERPOSICIÓN Y DESCOMPOSICIÓN DE
MMAP
Como es sabido, las propiedades sobre la superposición y descomposición de procesos
son de gran interés. Vemos estas propiedades a través de los siguientes resultados.
Teorema 5.3.1.1. (Composición de MMAP) Un proceso estocástico T (t ) es una
K Nk (t )
composición de MMAP si T (t )    vk ,n donde {N1 (t ),, N K (t )} son procesos de
k 1 n 1
recuento de un MMAP con C  {1, 2,, K } y {vk , n 1  k  K , n  1} . Si derivamos la
0
transformada de Laplace-Stietjes de T (t ) para los siguientes casos:
1. {vk , n , n  1} son secuencias de variables aleatorias independiente e
idénticamente distribuidas, para1  k  K , las cuales son independientes
de cada una de las otras e independiente del MMAP.
2. La secuencia {vk , n ,1  n  } tienen tiempos entre llegadas sucesivos de
un MAP con representación (C0 k , C1k ) de orden mk , para 1  k  K .
Al igual que se analizó para el capítulo anterior, los MMAPs también pueden
descomponerse y superponerse como en los modelos anteriores.
Teorema 5.3.1.2. (Superposición de procesos MMAPs) Sean los procesos MMAPs
independientes ( D0 , Dh : h  C 0 ) de orden m1 y (C 0 , C h : h  C 0 ) de orden m2 . El
proceso de superposición es también un MMAP con representación matricial
D0  I  I  C0 , Dh  I  I  Ch , h  C 0 , es decir, D0  C0 , Dh  Ch , h  C 0 .
59 Proceso de llegadas de Markov marcadas (MMAP) Teorema 5.3.1.3. Adelgazamiento de MAP. Sea un MAP con representación ( D0 , D1 ) .
Después de un tiempo exponencial con parámetro λ, la siguiente llegada es marcada
como de tipo 2. Las llegadas durante el tiempo exponencial son de tipo 1. Justo después
de la llegada tipo 2 se reinicia el tiempo exponencial. El proceso de llegada resultante es
MMAP con representación matricial
 D  I
C0   0
 0
I 
0
 0 0
 ; C2   D 0 
0
 1

 D1
 ; C1  
D0 
0
Demostración: He (2014)
Teorema 5.3.1.4. Sea {N h (t ), h  C 0 , I (t ), t  0}
un MMAP con representación
matricial { D0 , Dh : h  C 0 } . Se puede descomponer el proceso MMAP en n tipos de
llegadas usando marcadores independientes con probabilidades { p1i ,, pni } i  C 0 . Así,
los procesos {N j (t ), I (t ), t  0} para j=1,…,n son procesos MMAPs con representación
matricial
n


0
D

 0  (1  p ji ) Di , p ji Di  para j  1,, n ; i  C .
i 1


5.4. MEDIDAS DE FUNCIONAMIENTO
Como se ha realizado en capítulos anteriores, se van a analizar algunas medidas
asociadas a los procesos MMAPs.
Estudiamos en primer lugar algunas funciones de interés como el número de
llegadas en (0,t]. Consideramos
pij ((nh , h  C 0 ), t )  P[ I (t )  i, Nh (t )  nh , h  C 0 / I (0)  i] ,
P (( nh , h  C 0 ), t ) / I (0)  i )  ( pij (( nh , h  C 0 ), t )) ,
P* (( zh , h  C 0 ), t ) 

nh  0, hC 0
D* ( zh , h  C 0 )  D0 
P (( nh , h  C 0 ), t )  zh nh ,
z D , z
h
hC 0
60 hC 0
h
h
 1 ,h  C0 .
Antonio Hernández Moreno Para obtener medidas de funcionamiento es necesario determinar la función
generatriz de probabilidades conjunta, la cual viene dada en el siguiente resultado.
Teorema 5.4.1. Para un MMAP, la función general de probabilidad conjunta para el
número de llegadas en [0,t]viene dada por
P* ( zh , h  C 0 , t )  exp( D* ( zh , h  C 0 )t ) .
Demostración. He (2014)
Ejemplo 5.4.1. Sea el conjunto de índices
C 0  {hombre, mujer ,{hombre, mujer , niño}} ,
entonces una representación matricial del MMAP puede ser
 2  4 1.6 
 2 0.2 
 1 0.2 
1 0
D0  
 ; DH  
 ; DM  
 ; DHMN  
.
10 
 3
2 0 
3 0 
 2 0
Se obtiene
P ( zh , h  C 0 , t )  exp( D* ( zh , h  C 0 )t )  exp(( D0  zH DH  zM DM  zHMN DHMN )t )
*
La expresión
P* (( zh , h  C 0 ), t )  exp( D* ( zh , h  C 0 )t )
puede usarse para obtener varias razones de llegada. Por ejemplo, tomando derivadas
parciales con respecto a zh
P*  ( zh , h  C 0 ), t 
zh

{ zC 1, CC 0 }
t n n 1
·e   ·D Dh e
n 0 n !
Dada una distribución inicial  , podemos obtener tanto al esperanza como la
varianza de Nh (t ) .
E[ Nh (t )]  ht   (exp( Dt )  I )( D  e )1 Dhe; t  0 ,
61 Proceso de llegadas de Markov marcadas (MMAP) donde h   Dh e , que es la razón de llegada del grupo tipo h, y  es la distribución
estacionaria de la CMTC con generador D.
De igual forma, la varianza:
Var[N h (t )]  (h  2h 2  2 Dh ( D  e ) 1 Dh e)t
2 Dh ( D  e ) 1 (exp( Dt )  I )( D  e ) 1 Dh e
Ejemplo 5.2.4.: Para el ejemplo anterior en concreto, si definimos
N( H ) (t ) =”Número total de hombres llegados”
N( M ) (t ) =”Número total de mujeres llegadas”
N( N ) (t ) =”Número total de niños llegados”
Obviamente tenemos que
N( H ) (t )  N H (t )  N HMN (t )
N( M ) (t )  N M (t )  N HMN (t )
N( N ) (t )  N N (t )  N HMN (t )
Y con ello:
pij ( nH , nM , nN , t ) 
P[ N ( H ) (t )  nH ; N ( M ) (t )  nH ; N ( N ) (t )  nN ; I (t )  j / I (0)  i ];1  i, j  m;
P(nH , nM , nN , t )  ( pij (nH , nM , nN , t ))
P* ( z( H ) , z( M ) , z( N ) , t ) 

z( H ) nH z( M ) nM z( N ) nN ·P(nH , nM , nN , t )
nH , nM , nN  0
Se puede demostrar que:
P* ( z( H ) , z( M ) , z( N ) , t )  exp(( D0  z( H ) DH  z( M ) DM  z( H ) z( M ) z( N ) DHMN )t ) .
Las expresiones de las covarianzas y correlaciones de {N h (t ), h  C 0 , I (t ), t  0}
pueden calcularse explícitamente. Sin pérdida de generalidad, se asume que C 0  {1, 2}
Teorema 5.4.2. Para la versión estacionaria del MMAP con representación ( D0 , D1 , D2 ) ,
62 Antonio Hernández Moreno la covarianza entre N1 (t ) y N 2 (t ) está dada por
Cov( N1 (t ), N 2 (t )) 

 2
 
  212    Dk ( D  e ) 1 D3 k  e  t 
 k 1
 

2
 (Dk ( D  e ) 1 (exp( Dt )  I )( D  e ) 1 D3 k )e.
k 1
Demostración. He (2014).
63 Proceso de llegadas de Markov marcadas (MMAP) 64 CAPÍTULO 6
APLICACIÓN EN FIABILIDAD
En este capítulo se quiere aplicar los conocimientos y técnicas descritos en los capítulos
anteriores a un caso específico de sistema de fiabilidad. Para ello, se definirán de forma
breve conceptos básicos de fiabilidad, para pasar a introducir el sistema concreto al que
se van a aplicar las técnicas de procesos de llegada markovianos vistas hasta el
momento.
6.1. INTRODUCCIÓN
Como se ha comentado, el objetivo final de este trabajo está en el estudio de los
procesos de llegada Markovianos (MAP), sus ampliaciones y sus aplicaciones, en
concreto en su aplicación al campo de la fiabilidad. Es por ello que debemos referirnos
brevemente a este mundo de la fiabilidad para entender algunos de los conceptos con los
que posteriormente trabajaremos en la práctica.
Un sistema se define como un conjunto de elementos independientes que
interaccionan entre sí para realizar una tarea común.
La fiabilidad de un sistema se estudia para poder determinar probabilísticamente el
comportamiento del fallo o cualquier otro evento asociado a un sistema.
La evaluación de la fiabilidad de los sistemas lógicos se realiza mediante
distribuciones de probabilidad, lo que se explica intuitivamente al considerar cómo
fallan elementos de un mismo tipo, que han sido fabricados, y que trabajan en las
mismas condiciones. El tiempo de funcionamiento correcto es específico para cada uno,
es decir, que todos los elementos no fallan después del mismo tiempo de operación. Si
se registran los tiempos hasta el fallo de cada uno de los elementos observados
tendremos la distribución de probabilidad de fallo de este tipo de elementos cuando se
fabrican y operan en las condiciones definidas. La distribución de probabilidad de fallo
65 Aplicación en Fiabilidad de otro grupo de elementos del mismo tipo pero fabricado según otro proceso, o que
trabaja en otras condiciones posiblemente será distinta a la anterior.
Según se describe en el párrafo anterior, la ocurrencia de fallos en un grupo de
elementos de un mismo tipo e iguales características de fabricación y operación es
aleatoria en el tiempo. En consecuencia, el tiempo hasta el fallo, T, es una variable
aleatoria.
La función de distribución del tiempo de vida (o fallo), F (t ) , se define como la
función de distribución de la variable aleatoria T – no negativa y continua -, definida
como la probabilidad de fallo de un producto en condiciones preestablecidas, en un
intervalo de tiempo hasta t, dado que se encontraba en condición operativa en el instante
inicial.
La probabilidad de que el elemento funcione correctamente hasta el tiempo t es
R(t )  1  F (t ) siendo R(t ) la función que representa la fiabilidad del elemento. Por tanto
la función de fiabilidad de un elemento no reparable se define como la probabilidad de
que realice su función sin fallo en un tiempo dado y en unas condiciones especificadas.
Es decir, la fiabilidad es la probabilidad de supervivencia del elemento.
Sus expresiones indican que la función de distribución de probabilidad de fallo y la
fiabilidad son complementarias. Por tanto, y dado que la función de densidad de
probabilidad de fallo es la derivada de la función de distribución de probabilidad de
fallo, se tienen las siguientes relaciones.
t
F (t )  P[T  t ]   f ( x ) dx,
0
R(t )  1  F (t ),
siendo la función f la densidad de la variable.
Se observa cómo esta función de fiabilidad es monótona no creciente y cumple que
R(0)  1 y R()  0.
La función tasa de fallo o función de riesgo (hazard function), indica la razón de
fallo inmediato dado que el componente está funcionando en ese momento.
Matemáticamente,
P[t  T  t  t | T  t ] f (t )

t 
t
R(t )
h(t )  lim
Es bastante común que el comportamiento de fallos de dispositivos sea descrito en
términos de sus funciones de riesgo.
66 Antonio Hernández Moreno La función tasa de fallo o función de riesgo acumulada también será de utilidad ya
que será recta si la tasa de fallos es constante, crece por encima de la recta si es
creciente y por debajo si es decreciente. Se define como,
t
H (t )  h ( x ) dx
0
El sentido de la fiabilidad es realizar estimaciones del tiempo de funcionamiento sin
fallos de los distintos sistemas o componentes. Como hemos visto, esto es posible a
partir de las funciones recién definidas como son la función de distribución F (t ), de
supervivencia R (t ) , de densidad f (t ) y/o detasa de fallos, h(t ).
6.2. DESCRIPCIÓN DEL SISTEMA
En este apartado se introduce el sistema de fiabilidad al que se le van a aplicar las
técnicas de los capítulos anteriores.
En concreto, se va a considerar un sistema de fiabilidad con dos unidades y un
reparador (una unidad online y la otra en reserva pasiva). Si ambas unidades están listas
para el funcionamiento, una estará trabajando y la otra en espera. Si una unidad falla, se
envía al reparador para su reparación y la unidad en espera entra en funcionamiento. Si
la reparación concluye antes de un nuevo fallo, la unidad reparada queda en espera. Si el
fallo, sin embargo, acaece antes de terminar la reparación, la nueva unidad que ha
fallado queda en espera de reparación, entrando en funcionamiento la unidad que está en
reparación en cuento sea reparada.
Para el análisis del sistema se van a considerar tres modelos distintos. Uno donde
todos los tiempos implícitos son exponenciales con razones de fallo y reparación
distintos; un segundo donde los tiempos de vida de ambas unidades son exponenciales
de igual parámetro y el tiempo de reparación exponencial con igual parámetro y un
tercer modelo donde los tiempos implícitos son tipo fase.
Modelo 1. Tiempos exponenciales distintos
Los tiempos de fallo y reparación se distribuyen según una distribución exponencial
de parámetros respectivos para las dos unidades 1 , 2 , 1 y 2 respectivamente.
Los estados de cada componente los vamos a notar como sigue,
- 0, cuando está siendo reparada.
67 Aplicación en Fiabilidad - 1, cuando está en espera de reparación (cola de reparación).
- 2, cuando está en espera de funcionamiento (standby, reserva).
- 3, cuando se encuentre en funcionamiento (unidad online).
Sean I1 (t ) y I 2 (t ) el estado de la unidad 1 y de la unidad 2 en el tiempo t. El
proceso
{I (t )  ( I1 (t ), I 2 (t )), t  0}
tiene
espacio
de
estados
{(3, 2), (3,0),(2,3), (1,0),(0,1), (0,3)} .
Se está interesado en el número de reparaciones en [0, t ] - el número de fallos lo
estudiamos al considerar el proceso MMAP-. Se definen los eventos del proceso de
Poisson asociado con tasas de reparación como llegadas (correspondiendo a la matriz
D1). El resto del proceso de Poisson corresponde a la matriz D0 . Sea N (t ) el número de
llegadas asociadas a la cadena de Markov en tiempo continuo {I (t ), t  0} . Así definido,
es fácil ver que {( N (t ), I (t )), t  0} es un MAP con representación matricial
(3, 2)  1

(2,3)  0
(3, 0)  0
D0 

(0,3)  0
(1, 0)  0

(0,1)  0
0
2
0
1
2
0
0
0
1   2
0
0
2  1
1
0
0
0
0
0
0
 2
0
(3, 2)  0

(2,3)  0
(3, 0)  2
D1 

(0,3)  0
(1, 0)  0

(0,1)  0
0
0
0
1
0
0
0
0
0
0
0
2
1
0
0
0
0
0
0
0
0
0 

0 
0 
,
2 
0 

 1 
0 0

0 0
0 0
.
0 0
0 0

0 0 
Modelo 2. Tiempos exponenciales iguales para funcionamiento y reparación
respectivamente
Una variedad para este modelo introducido sería la suposición, por simplicidad, de
que las dos unidades son idénticas, es decir, tienen la misma distribución para el tiempo
de reparación y para los tiempos de fallo, respectivamente (exponencial con razón  y
). Ambos modelos serán estudiados. Siguiendo nuestro interés en el número de
reparaciones entre [0, t ] . Así definimos los eventos del proceso de Poisson asociado con
tasas de reparación como llegadas (correspondientes como sabemos a la matriz D1 ). El
68 Antonio Hernández Moreno resto de eventos del proceso de Poisson corresponden a D0 . Sea N (t ) el número de
dichas llegadas asociadas a la cadena de Markov en tiempo continuo {I (t ), t  0} . En
esta ocasión, se definen los estados I(t) como el número de unidades en reparación en el
tiempo t. Se esta forma, {( N (t ), I (t )), t  0} es un MAP y su representación matricial
viene dada por
0  

D0  1  0
2  0
0 0

D1  1  
2  0

  
0
0
0

0 
  ,
  
0

0 .
0 
En el caso de haber estado igualmente interesados en el número de fallos
podríamos considerar el MAP {( N (t ), I (t )), t  0} con representación matricial
0  

D0  1  
2  
0
  
0
0 

0 ,
  
00  0


D1  1  0 0   .
2  0 0 0 
Este último MAP lo consideraremos dentro del análisis MMAP – capítulo 6.4.haciendo uso del conjunto de índices.
Modelo 3. Tiempos de funcionamiento y reparación tipo fase
Finalmente, se considerará que ambas unidades son multi-estados, atraviesan
estados de funcionamiento y de reparación distintos, considerando que el tiempo de
funcionamiento de cada unidad es tipo fase con representación (1 , T1 ) y ( 2 , T2 )
respectivamente. La reparación también es multi-estados considerando tipo fase con
representaciones para cada unidad (1 , S1 ) y (  2 , S 2 ) su comportamiento.
El MAP que estudia el número de reparaciones en este caso viene dado por
69 Aplicación en Fiabilidad (3, 2)  T1 0
0
0
 2  T10  1

0
(2,3)  0 T2 1  T2   2
0
0
0
(3, 0)  0 0
0
T1  S 2
T1  I
D0 

(0,3)  0 0
0
0
S1  T2

(1, 0) 0 0
0
0
S2


(0,1)  0 0
0
0
0


0 
0 
,
I  T20 
0 

S1 
(3, 2)  0

(2,3)  0
(3, 0)  I  S 20
D1 

(0,3)  0
(1, 0)  0

(0,1)  0
0
0
0
0
0
0
0
0
S1  I
0
0
0
0
0
0
0
0
0
0
 2  S 20  1
0
1  S10   2
0
0
0

0
0
.
0
0 0

0 0 
Si se consideran distribuciones tipo fase con iguales representaciones para
funcionamiento y reparación, ( , T ) y ( , S ) , se tiene que el MAP que estudia el número
de reparaciones viene dado por
0  T T 0  

T S
D0  1  0
2  0
0


T 0  I ,
S 
0
0 0
0

0
D1  1  I  S
0

2 0
  S 0
0

0 .
0 
En este caso también se puede estudiar el MAP que analiza el número de fallos
hasta un determinado tiempo. Este MAP viene dado por
0 T
0

D0  1  I  S 0
T S

2 0
  S 0
0  0 T 0  

D1  1  0
0
2  0
0
70 0

0 ,
S 
0 

T 0  I .
0 
Antonio Hernández Moreno En la sección 6.4 se hará un análisis detallado.
6.3. ANÁLISIS MAP
En esta sección se van a presentar distintas simulaciones numéricas para los modelos
presentados. Para el desarrollo se comenzará desde el modelo más simple (Modelo 2) al
más complejo.
Modelo 2
Para el modelo 2 propuesto, podemos calcular medidas de funcionamiento del mismo,
basándonos en su modelización MAP con la representación matricial recién expuesta.
Uno de nuestros objetivos es el estudio N (t ) y para ello podemos calcular su
esperanza y su varianza y a partir de ellos el índice de dispersión, medidas definidas en
el capítulo 3.4. Recordamos las expresiones,
E[ N (t )]  t   (exp( Dt )  I )( D  e )1 D1e ; t  0
Var[ N (t )]  (  2 2  2 D1 ( D  e )1 D1e)t
 2 D1 ( D  e ) 1 ( exp ( Dt )  I )( D  e ) 1 D1e .
Comenzamos calculando la distribución estacionaria de la cadena de Markov.
Sabemos que D  D0  D1 . La expresión de la distribución estacionaria es también
 D  0
.
conocida 
 e 1
Resolviendo el sistema de ecuaciones para los dos modelos presentados, primero
para el caso de considerar idénticas ambas unidades.
 

D 



  
0
0 
 
  
Se obtienen como resultados genéricos para los parámetros de la distribución
estacionaria los siguientes valores,
71 Aplicación en Fiabilidad 

1   2





 2  2
     2



3   2



En la siguiente tabla se muestran según los valores de  y  , y con dicho valor
obtenemos la tasa de llegada estacionaria    D1e correspondiente, que indicaría el
número de reparaciones completas por unidad de tiempo.


1
0.01
0.015
0.02
0.025
0.03
0.01
0.015
0.02
0.025
0.03
0.5
0.5
0.5
0.5
0.5
0.4
0.4
0.4
0.4
0.4
0.9800078401 0.0196001568 0.0003920031 0.00999608
0.9700261907 0.0291007857 0.0008730236 0.0149869
0.960061444 0.038402458 0.001536098 0.01996928
0.950118765 0.047505938
0.00237529 0.02494062
0.940203084 0.056412185 0.003384731 0.02989846
0.9750152346 0.0243753809 0.0006093845 0.00999390
0.962550760 0.036095653 0.001353587 0.0149797
0.950118765 0.047505938 0.002375297 0.01995249
0.937728938 0.058608059 0.003663004 0.02490842
0.925390399 0.069404280 0.005205321 0.02984384
2
3
   D1e
Tabla 6.3.1. Simulación distribución estacionaria .Modelo 2
Dada pues una distribución inicial   (1,0,0) , donde ambas unidades inicialmente
están operativas, para cada t se obtiene de manera directa el valor esperado de N (t ) , su
varianza, y a partir de estas dos medidas su coeficiente de variación y su índice de
dispersión. De nuevo, para los distintos valores de  y  y ahora para distintos valores
de t (probamos con t = 1, 10, 100) se obtienen,


t
E  N (t ) 
Var  N (t ) 
0.02
0.02
0.02
0.03
0.03
0.03
0.02
0.02
0.02
0.03
0.03
0.03
0.5
0.5
0.5
0.5
0.5
0.5
0.4
0.4
0.4
0.4
0.4
0.4
1
10
100
1
10
100
1
10
100
1
10
100
0.004238295
0.1587923
1.955576
0.006340343
0.2370007
2.927069
0.003496267
0.1489426
1.94323
0.005229691
0.2218645
2.905346
0.01995479
0.1988646
1.985505
0.02985158
0.2963114
2.952945
0.01993465
0.1983749
1.977922
0.02978674
0.2947698
2.929073
Tabla 6.3.2. Simulación Medidas de Funcionamiento Modelo 2
72 Antonio Hernández Moreno Gráficamente, si llamamos a las series formadas por los distintos valores de  y
, respectivamente, como A(=0.02, =0.5), B(=0.03, =0.5) , C(=0.02, =0.4) y
D(=0.03, =0.4), podemos representar la esperanza y la varianza como sigue
observando un paralelismo claro en estas dos medidas.
3,5
3
Esperanza Matemática
2,5
2
A
1,5
B
1
C
D
0,5
1
6
11
16
21
26
31
36
41
46
51
56
61
66
71
76
81
86
91
96
0
Gráfico 6.3.1. Esperanza Matemática según los distintos valores de
y 
Varianza
3,5
3
2,5
A
2
B
1,5
C
1
D
0,5
1
6
11
16
21
26
31
36
41
46
51
56
61
66
71
76
81
86
91
96
0
Gráfico 6.3.2. Varianza según los distintos valores de
 y .
73 Aplicación en Fiabilidad Modelo 1
En la resolución de la distribución estacionaria, en el caso de considerar el modelo
anterior planteado con las dos unidades no obligatoriamente iguales, queda
 2 ( 12 2   2 22 )  1 ( 1 2 1  112 )  0

2
2
  (1  1  1 )   (1  2  2 )  1
1
2

2 22
1 12




 1 1
3

2

.


4  2 2

1


12



5

2 1

2


2
 6  22  2

1

Tal y como se presentó en el modelo anterior, se presenta una tabla con los valores de la
distribución estacionaria para este modelo, para distintos valores de 1 , 2,1 , 2 y de t.
1
2
1
2
1
2
3
4
5
6
0.01
0.02
0.03
0.01
0.02
0.03
0.01
0.01
0.01
0.03
0.03
0.03
0.5
0.5
0.5
0.4
0.4
0.4
0.4
0.5
0.6
0.4
0.5
0.6
0.487
0.320
0.238
0.730
0.575
0.474
0.490
0.653
0.735
0.232
0.371
0.463
0.012
0.013
0.012
0.018
0.023
0.024
0.010
0.013
0.015
0.017
0.028
0.035
0.000
0.001
0.001
0.000
0.001
0.001
0.000
0.000
0.000
0.001
0.002
0.003
   D1e
0.009
0.0133
0.0149
0.0149
0.024
0.030
Tabla 6.3.3. Simulación distribución estacionaria Modelo 1
1
2
1
2
t
E  N (t ) 
Var  N (t ) 
0.01
0.02
0.03
0.03
0.01
0.03
0.01
0.03
0.5
0.4
0.5
0.4
0.4
0.5
0.6
0.6
100
100
100
100
1.953175
3.315536
2.686251
3.852308
0.9976252
2.445802
1.773229
2.94801
Tabla 6.3.4. Simulación Medidas de Funcionamiento Modelo 1
74 Antonio Hernández Moreno 6.4. ANÁLISIS MMAP
Siguiendo con el estudio del sistema planteado, se puede estudiar el problema de
analizar el número de reparaciones y el número de fallos en el intervalo (0, t ] de una
forma conjunta y no a través de los dos procesos MAP, uno para las reparaciones y otro
para los fallos, aplicando procesos MMAP.
Modelo 1
El modelo 1, con tiempos exponenciales distintos, es analizado mediante MMAP para
estudiar el número de fallos y reparaciones hasta un cierto tiempo. Si definimos
C 0  { fallo, reparación} , entonces el MMAP {( Nr (t ), N f (t ), I (t )), t  0} viene dado
como sigue,
(3, 2)  1

(2,3)  0
(3, 0)  0
D0 

(0,3)  0
(1, 0)  0

(0,1)  0
0
2
0
0
0
0
0
0
0
0
  1   2 
0
  2  1 
0
0
0
(3, 2)  0

(2,3)  0
(3, 0)   2
Dr 

(0,3)  0
(1, 0)  0

(0,1)  0
(3, 2)  0

(2,3)  0
(3, 0)  0
Df 

(0,3)  0
(1, 0)  0

(0,1)  0
0
0
0
0
0
0
0
0
0
0
0
0
2
1
0
1
0
0
2
0
0
0
0
0
0 0
0 2
0 0
0 0
0 0
0 0
1
0
0
0
0
0
0
0
0 

0 
0 
,
0 
0 

 1 
0 0

0 0
0 0
,
0 0
0 0

0 0 
0
0
1
0
0
0




.
2 
0

0 
0
0
0
75 Aplicación en Fiabilidad Modelo 2
Debido a la complejidad de cálculo del modelo 1, vamos a calcular la
representación del MMAP asociada al modelo 2, donde las unidades las considerábamos
iguales.
Se definen los eventos del proceso de Poisson asociado con razones de reparación
de r llegadas (correspondientes a Dr ) y los eventos un proceso de Poisson con razones
de fallo de f llegadas (correspondientes a D f ). El resto del proceso de Poisson
corresponde a D0 . Es claro cómo se puede definir el conjunto de índices asociado al
proceso MMAP C 0  { fallo, reparación} . Sea Nr (t ) el número de reparaciones
completadas en el periodo (0, t ] y N f (t ) el número de fallos acaecidos en el periodo
(0, t ] .
El MMAP queda planteado de la siguiente manera, {( Nr (t ), N f (t ), I (t )), t  0} con
representación matricial,
0  

D0  1  0
2  0
0
  
0 0

Dr  1  
2  0
0
0
0

0 

0 
  
0

0
0 
00  0 


Df  1  0 0  
2  0 0 0 
donde si, por ejemplo, consideramos   0.02 y   0.4 , la distribución estacionaria de
{I (t ), t  0} será – tal y como se muestra en la tabla 6.3.1.
1  0.95011876

 2  0.04750594
   0.002375
 3
y con ella se pueden calcular la razón de reparaciones,  Dr e  0.01995238 y la razón
de fallos  D f e  0.01995249 .
76 Antonio Hernández Moreno Modelo 3
Tiempos distintos
Si consideramos que cada tiempo de funcionamiento y reparación siguen distribuciones
tipo fase distintas, de forma que atraviesan múltiples estados de funcionamiento y
reparación, se tiene que el MMAP tiene la siguiente representación matricial,
0
(3, 2)  T1 0

0
(2,3)  0 T2
(3, 0)  0 0 T1  S 2
D0 

0
(0,3)  0 0
0
(1, 0)  0 0

0
(0,1)  0 0
(3, 2)  0

(2,3)  0
(3, 0)  I  S 20
Dr 

(0,3)  0
(1, 0)  0

(0,1)  0
(3, 2)  0

(2,3)  0
(3, 0)  0
Df 

(0,3)  0
(1, 0)  0

(0,1)  0
0
0
0
0
0
S1  T2
0
0
0
0
S2
0
0
0
0
0
0
0
0
S I
0
0
0
0
0
1
0

0
0
,
0
0

S1 
 2  S 20  1
0
1  S10   2
0
0
0
 2  T10  1
0
0 1  T   2
0
0
0
0
0
T I
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
1
0 0

0 0
0 0
,
0 0
0 0

0 0 


0 
0 
.
I  T20 
0 

0 
0
Tiempos iguales
Continuando con el análisis de sistema concretos, es sabido que las distribuciones
tipo fase son muy comunes al trabajar con los sistemas de fiabilidad. Se puede por tanto,
asumir que los tiempos de fallo tienen una distribución tipo fase con representación
( , T ) y que los tiempos de reparación, igualmente, tienen por distribución una tipo
fase de representación (  , S ) . En este caso, el MMAP {( Nr (t ), N f (t ), I (t )), t  0} puede
construirse, tal y como muestra He (2014), a través de la siguiente representación
matricial.
77 Aplicación en Fiabilidad 0 T
0

D0  1  0 T  I  I  S
2  0
0
0

0
S 
0 0
0

0
0
Dr  1  I  S
2  0
  S 0
0

0
0 
0  0 T 0  

Df  1  0
0
2  0
0
0 

T I
0 
0
donde S 0   Se y T 0  Te .
Considerando un ejemplo numérico, con las distribuciones tipo fase del menor
orden posible para simplificar los cálculos – orden 2 -, donde   (0,1) ,
 1.17 0.5 
 0.5 0.45 
T 
 , la representación matricial del
 y   (1, 0) , S  
 0.5 1.17 
 0.3 0.4 
MMAP será,
0
0
0 0 0 
 0.5 0.45 0


0
0
0 0 0 
 0.3 0.4 0
 0 0 1.67
0.5
0.45
0 0 0 


1.67
0 0 0.5
0
0 0 0 

D0 
 0 0 0.3
1.57
0
0.5 0 0 


1.57 0 0 
0.3
0.5
 0 0 0
 0 0 0
0
0
0 1.17 0.5 


0
0
0 0.5 1.17 
 0 0 0
78 Antonio Hernández Moreno 0

0
0

0
Df  
0

0
0

0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0 0.05
0 0.1
0 0 0
0 0 0
0 0 0
0 0 0
0 0 0
0 0 0
0 0 0 

0 0 0 
0.05 0 

0 0.05 
,
0.1 0 

0
0.1 
0
0 

0
0 
0
0
0 0
 0

0
0
0 0
 0
 0.67
0
0
0 0

0.67
0
0 0
0
Dr  
 0
0.67 0 0
0

0.67 0 0
0
 0
 0
0
0 0 0.67

0
0 0 0.67
 0
0 0 0 

0 0 0 
0 0 0 

0 0 0
0 0 0

0 0 0
0 0 0

0 0 0 
donde se cumple que D  D0  D f  Dr .
La distribución estacionaria viene dada por
   0.3482, 0.5323, 0.0135, 0.0080, 0.0619, 0.0220, 0.0083, 0.0058  .
Finalmente, las razones de reparación y fallo, iguales en régimen estacionarios, son
0.0801.
79 Aplicación en Fiabilidad 80 APÉNDICE: SINTAXIS INFORMÁTICA
Se adjunta a continuación la sintaxis utilizada en los modelos analizados en el capítulo
6. El programa elegido para realizar la mayoría de los cálculos necesarios ha sido R
Project. R es un paquete estadístico, software libre, que permite un análisis matemático
y estadístico de una forma profesional de un conjunto de datos.
R Project utiliza un paquete base donde incluye una gran variedad de opciones de
análisis, ampliable a través de paquetes específicos según el interés del programador. En
nuestro caso, se ha tenido que instalar uno de estos paquetes específicos, denominado
expm para poder realizar el cálculo de la exponencial de una matriz.
En un primer caso, se presenta la sintaxis creada para el modelo 2 presentado en el
capítulo 6, donde las dos unidades se podían considerar iguales. Así, para el cálculo de
la distribución estacionaria y para el cálculo de las medidas de funcionamiento del
sistema para los distintos valores de los parámetros se uso la siguiente sintaxis.
tita=c(beta^2/(gamma*beta+beta^2+gamma^2), beta*gamma/(gamma*beta+beta^2+gamma^2), gamma^2/(gamma*beta+beta^2+gamma^2) ) d0=matrix(c(‐gamma,gamma,0,0,‐gamma‐beta,gamma,0,0,‐beta), nrow=3, ncol=3, byrow = TRUE) d1= matrix(c(0,0,0,beta,0,0,0,beta,0),nrow=3,ncol=3, byrow = TRUE) ee=matrix(c(1,1,1),nc=1) l=tita%*%d1%*%ee d=d0+d1 alpha=c(1,0,0) I=matrix(c(1,0,0,0,1,0,0,0,1),nrow=3,ncol=3) esperanza=l*t‐ alpha%*%(expm(d*t)‐I)%*%(solve(d‐ee%*%tita))%*%d1%*%ee varianza= (l‐2*l^2‐2*tita%*%d1%*%(solve(d‐ee%*%tita))%*%d1%*%ee)*t + 2*tita%*%d1%*%(solve(d‐ee%*%tita))%*%(expm(d*t)‐I) %*%(solve(d‐
ee%*%tita))%*%d1%*%ee El código para obtener las gráficas de la esperanza matemática y de la varianza,
para t=1, …, 100 es,
81 Apéndice: Sintaxis Informática y=100 simula_esperanza= array(1:y,dim=c(y,1)) simula_varianza=array(1:y,dim=c(y,1)) for (t in 1:y) { tita=c(beta^2/(gamma*beta+beta^2+gamma^2), beta*gamma/(gamma*beta+beta^2+gamma^2), gamma^2/(gamma*beta+beta^2+gamma^2) ) d0=matrix(c(‐gamma,gamma,0,0,‐gamma‐beta,gamma,0,0,‐beta), nrow=3, ncol=3, byrow = TRUE) d1= matrix(c(0,0,0,beta,0,0,0,beta,0),nrow=3,ncol=3, byrow = TRUE) ee=matrix(c(1,1,1),nc=1) la=tita%*%d1%*%ee d=d0+d1 alpha=c(1,0,0) Id=matrix(c(1,0,0,0,1,0,0,0,1),nrow=3,ncol=3) esperanza=la*t+alpha%*%(expm(d*t)‐Id)%*%(solve(d‐ee%*%tita))%*%d1%*%ee varianza= (la‐2*la^2‐2*tita%*%d1%*%(solve(d‐ee%*%tita))%*%d1%*%ee)*t + 2*tita%*%d1%*%(solve(d‐ee%*%tita))%*%(expm(d*t)‐Id) %*%(solve(d‐
ee%*%tita))%*%d1%*%ee simula_esperanza[t]=esperanza simula_varianza[t]=varianza } simula_esperanza simula_varianza Para el modelo 1, donde las unidades ya no se consideraban iguales, la sintaxis
utilizada, muy similar, fue,
A= matrix(c(nu1*nu2*lambda1+nu1*lambda1^2,‐nu2*lambda2^2‐
nu1*nu2*lambda2,1+lambda1/nu2+lambda1^2/nu2^2, 1+lambda2/nu1+lambda2^2/nu1^2), nrow=2, ncol=2, byrow = TRUE) b=matrix(c(0,1),ncol=1) tita=solve(A,b) tita_m= matrix(c(tita[1],tita[2],lambda1/nu2*tita[1] ,lambda2/nu1*tita[2],lambda1^2/nu2^2*tita[1],lambda2^2/nu1^2*tita[2]),ncol=6) tita_m dd0= matrix(c(‐lambda1,0,0,lambda1,0,0,0,‐lambda2, lambda2,0,0,0,0,0,‐ lambda1‐nu2,0, lambda1,0,0,0,0,‐ lambda2‐nu1,0, lambda2,0,0,0,0,‐nu2,0,0,0,0,0,0,‐nu1), nrow=6, ncol=6, byrow = TRUE) dd1= matrix(c(0,0,0,0,0,0,0,0,0,0,0,0,nu2,0,0,0,0,0,0,nu1,0,0,0,0,0,0,0,nu2,0,0,0,0,nu1,0,0,0), nrow=6, ncol=6, byrow = TRUE) dd=dd0+dd1 ee=matrix(c(1,1,1,1,1,1),nc=1) l=tita_m%*%dd1%*%ee dd=dd0+dd1 82 Antonio Hernández Moreno alpha=c(1,0,0,1,0,0) I=matrix(c(1,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,1),nrow=6,ncol=6) esperanza=l*t‐ alpha%*%(expm(dd*t)‐I)%*%(solve(dd‐ee%*%tita_m))%*%dd1%*%ee varianza= (l‐l^2‐2*tita_m%*%dd1%*%(solve(dd‐ee%*%tita_m))%*%dd1%*%ee)*t + 2*tita_m%*%dd1%*%(solve(dd‐ee%*%tita_m))%*%(expm(dd*t)‐I) %*%(solve(dd‐
ee%*%tita_m))%*%dd1%*%ee Para el caso MMAP con distribuciones tipo fase (análisis MMAP del modelo 3), la
sintaxis para el cálculo de las matrices D0, Df y Dr se realizó en el software Matlab,
quedando su sintaxis para el caso particular propuesto
alpha=[0,1]; T=[‐0.5,0.45;0.3,‐0.4]; beta=[1,0]; S=[‐1.17,0.5;0.5,‐1.17]; m=length(T); T0=‐T*ones(m,1); n=length(S); S0=‐S*ones(n,1); D0=[T,zeros(m,m*n+n);zeros(m*n,m),kron(T,eye(n))+kron(eye(m),S),zeros(m*n,n);zeros(n,m+m
*n),S]; Dr=[zeros(m,m+m*n+n);kron(eye(m),S0),zeros(m*n,m*n+n);zeros(n,m),kron(alpha,S0*beta),ze
ros(n,n)] Df=[zeros(m,m),kron(T0*alpha,beta),zeros(m,n);zeros(m*n,m+m*n),kron(T0,eye(n));zeros(n,m
+m*n+n)]; D=D0+Dr+Df 83 Apéndice: Sintaxis Informática 84 BIBLIOGRAFÍA
Alfa, AS. (2004) Markov chain representations of discrete distributions applied to queue
in models. Computers & Operations Researh, 31, 2365-2385.
Asmussen, S. and Koole, G.M. (1993) Marked point processes as limits of Markovian
arrival streams. Journal of Applied Probability, 30, 365–372.
Cordeiro, J.D. and Kharoufeh, J.P. (2011) Batch Markovian arrival processes (BMAP).
Wiley Encyclopedia of Operations Research and Management Science. Cordeiro J.D. and Kharoufeh J.P. (2012) The unreliable M/M/1 retrial queue in a
random environment. Stochastic Models, 28 (1), 29-48.
Cox, D.R. and Miller H.D. (1977) The theory of stochastic Processes. CRC Press. Han, Y; La, R.J.; Makowski, A. and Lee, S (2006) Distributions of path duration in
mobile ad hoc networks- Palm’s theorem to the rescue. Computer networks, 50 (12)
1887-1900.
He, Q.M. (2010) Construction of continuous time Markov arrival processes. Journal of
Systems Science and System Engineering, 19, 351-366.
He, Q.M. (2014) Fundamentals of Matrix-Analytic Methods. Springer. New York.
He, Q.M. and Neuts, M.F. (1998) Markov chains with marked transitions. Stochastics
processes and their applications, 74, 37-52.
Kingman, J.F.K. (2002) Poisson Processes. Oxford University Press. New York.
Kovalenko, I.N.; Kuznetsov, N.Y. and Shurenkov, V.M. (1996) Models of Random
Processes. A handbook for mathematicians and engineers. CRC Press.
Lucantoni, D.M. (1991) New results on the single server queue with a Batch Markovian
arrival process. Commun. Statist.-Stochastic Model, 7(1),1-46.
85 Lucantoni, D.M. (1993) The BMAP/G/1 Queue: A tutorial. In Donatiello, L. and
Nelson, R., eds Models and techniques for Performance Evaluation of Computer
and Communications Systems, 330-358. Springer.Verlad, London. U.K.
Mishkoy, G.; Krieger, U.R. and Bejenari, D. (2012) Matrix algorithm for Polling
modelswith PH distribution.BuletinulAcademiei de Stiinte. A Republicii
Moldova.Matematica, 1(68), 70–80.
Neuts, M.F. (1979) A versatile Markovian point process. Journal of Applied
Probability, 16, 764-779.
Neuts, M.F. (1975) Probability distributions of phase type. Liber. Amicorum Prof.
Emeritus H. Florin. Dept. Math. University of Louvain, Belgium, 173-206.
Neuts, M.F. (1984) Matrix-analytic methods in queueing theory. European Journal of
Operational Research, 15, 2-12.
Neuts, M.F. (1981) Matrix-Geometric Solutions in Stochastic Models: An Algorithmic
Approach. Dover Publications, Inc., New York, NY.
Neuts, M.F. (1992) Models based on the Markovian Arrival Processes. IEEE
Transactions on Communications, E75-B, 12, 1255-1265.
Neuts, M.F. (1989) Structured stochastic matrices of M/G/1 type and their applications.
New York, Marcel Dekker Inc.
Neuts, M.F. and Li, J-M. (1997) An algorithm for the P(n, t) matrices of a continuous
BMAP.In Matrix-analytics methods in stochastic models. Edited by Srinivas R.
Chakravarthy and Attahiru S. Alfa. Marcel and Dekker, INC. Pérez Ocón, R. and Ruiz Castro, J.E. (2003) Markovian Models in Survival Studies. In
54th International Statistical Institute Session 2003.
Ross, S.M. (1983) Stochastic Processes. John Wiley & Sons.
Ruiz-Castro, J.E. (2013) A preventive maintenance policy for a standby system subject
to internal failures and external shocks with loss of units. International Journal of
Systems Science. DOI: 10.1080/00207721.2013.827258.
Ruiz-Castro, J.E. (2014) Preventive maintenance of a multi-state device subject to
internal failure and damage due to external shocks. IEEE Transactions on
Reliability, 63, 2, 646-660.
Taylor, H. M. and Karlin, S. (1994) An Introduction to Stochastic Modeling. Academic
Press.
86