Universidad Nacional de Colombia INTRODUCCIÓN A LA INVESTIGACION DE OPERACIONES ESTOCÁSTICAS MODELOS PROBABILÍSTICOS Jorge Eduardo Ortiz Triviño 08 de Marzo de 2012 2 Tabla de Contenido TABLA DE CONTENIDO .............................................................................................................. 3 I. LISTA DE FIGURAS .............................................................................................................. 8 II. LISTA DE TABLAS ................................................................................................................ 9 III. PREFACIO ....................................................................................................................... 10 OBJETIVOS ............................................................................................................................. 12 COMENTARIOS SOBRE LOS EJERCICIOS .................................................................................... 12 1 INTRODUCCIÓN ................................................................................................................ 15 2 COMPENDIO DE TEORÍA DE PROBABILIDADES.................................................................... 15 2.1 INTRODUCCIÓN.............................................................................................................. 15 2.2 ESPACIOS DE PROBABILIDAD .......................................................................................... 15 2.3 VECTORES ALEATORIOS Y FUNCIONES DE DISTRIBUCIÓN CONJUNTAS .............................. 15 2.3.1 INTRODUCCIÓN ......................................................................................................................... 15 2.3.2 DEFINICIONES ........................................................................................................................... 15 2.4 FUNCIONES DE DENSIDAD CONJUNTAS ........................................................................... 15 2.4.1 VECTORES ALEATORIOS DISCRETOS................................................................................................ 15 2.4.2 VECTORES ALEATORIOS CONTINUOS.............................................................................................. 15 2.4.3 OTRAS CLASES DE VECTORES ALEATORIOS....................................................................................... 16 2.5 DISTRIBUCIONES CONDICIONALES E INDEPENDENCIA ESTOCÁSTICA ................................ 16 2.5.1 VECTORES ALEATORIOS DISCRETOS ............................................................................................... 16 2.5.2 VECTORES ALEATORIOS CONTINUOS ............................................................................................. 16 2.5.3 INDEPENDENCIA ........................................................................................................................ 16 2.6 ESPERANZA MATEMÁTICA Y MOMENTOS ....................................................................... 16 2.6.1 DEFINICIÓN .............................................................................................................................. 17 2.6.2 VECTOR DE MEDIAS ................................................................................................................... 17 2.6.3 COVARIANZA Y COEFICIENTE DE CORRELACIÓN ............................................................................... 17 2.6.4 VALOR ESPERADO DE FUNCIONES DE VARIABLES ALEATORIAS ........................................................... 17 2.6.5 MOMENTOS CONJUNTOS Y FUNCIONES GENERADORAS DE MOMENTOS ............................................. 17 2.6.6 ESPERANZA E INDEPENDENCIA ..................................................................................................... 17 2.7 FAMILIA DE GASUSS MULTIDIMENSIONAL ....................................................................... 17 3 2.7.1 DENSIDAD CONJUNTA ................................................................................................................ 17 2.7.2 FUNCIÓN GENERADORA DE MOMENTOS Y MOMENTOS ................................................................... 17 2.7.3 DENSIDADES MARGINALES Y CONDICIONALES................................................................................. 17 2.8 FAMILIAS DE DISTRIBUCIONES UNIPARAMÉTRICAS ......................................................... 17 2.8.1 INTRODUCCIÓN ......................................................................................................................... 17 2.8.2 FAMILIAS DE DISTRIBUCIONES DISCRETAS ...................................................................................... 18 2.8.3 FAMILIAS DE DISTRIBUCIONES CONTINUAS ..................................................................................... 18 2.8.4 RELACIONES ENTRE FAMILIAS ............................................................................................... 18 2.9 EJERCICIOS ..................................................................................................................... 19 2.10 RESUMEN DEL CAPÍTULO .............................................................................................. 19 3 TEORÍA DE LA DECISIÓN .................................................................................................... 20 3.1 INTRODUCCIÓN.............................................................................................................. 20 3.2 LOS ELEMENTOS EN UN PROBLEMA DE DECISIÓN ............................................................ 20 3.2.1 DECISOR................................................................................................................................... 21 3.2.2 ALTERNATIVAS .......................................................................................................................... 21 3.2.3 ESTADOS DE LA NATURALEZA ....................................................................................................... 21 3.2.4 EFECTOS O CONSECUENCIAS DE LA DECISIÓN................................................................................... 22 3.2.5 ESTRUCTURA DE PREFERENCIAS DEL DECISOR .................................................................................. 22 3.3 MODELOS DE DECISIÓN .................................................................................................. 23 3.3.1 PROYECTOS Y DECISIONES ........................................................................................................... 23 3.3.2 DECISIONES BAJO CERTEZA .......................................................................................................... 24 3.3.3 DECISIONES BAJO RIESGO: ESPERANZA MATEMÁTICA CRITERIO RACIONAL. ......................................... 24 3.3.4 DECISIONES BAJO INCERTIDUMBRE ............................................................................................... 27 3.4 ARBOLES DE DECISIÓN .................................................................................................... 36 3.5 VALOR ESPERADO DE LA INFORMACIÓN PERFECTA.......................................................... 40 3.5.1 REIP: RESULTADO ESPERADO CON INFORMACIÓN PERFECTA ............................................................. 41 3.5.2 RER: RESULTADO ESPERADO EN RIESGO......................................................................................... 41 3.5.3 VIP: VALOR DE LA INFORMACIÓN PERFECTA ................................................................................... 41 3.5.4 CIP: COSTO DE LA INFORMACIÓN PERFECTA ................................................................................... 41 3.6 TEORÍA DE LA UTILIDAD .................................................................................................. 43 3.6.1 INTRODUCCIÓN ......................................................................................................................... 43 3.6.2 FUNCIONES DE UTILIDAD............................................................................................................. 43 3.6.3 CURVAS TÍPICAS DE UTILIDAD ...................................................................................................... 43 3.7 DECISIONES MULTIOBJETIVO .......................................................................................... 43 3.7.1 INTRODUCCIÓN ......................................................................................................................... 43 3.7.2 SOLUCIONES NO DOMINADAS ...................................................................................................... 43 3.7.3 INCLUSIÓN DE LA ESTRUCTURA DE PREFERENCIAS DE DECISOR ........................................................... 43 3.7.4 MÉTODO DE LAS RESTRICCIONES .................................................................................................. 43 3.7.5 MÉTODO DE LAS PONDERACIONES ............................................................................................... 43 4 3.8 MÚLTIPLES ACTORES DECISORES..................................................................................... 43 4 PROGRAMACIÓN DINÁMICA ............................................................................................. 44 4.1 INTRODUCCIÓN.............................................................................................................. 44 4.2 PROGRAMACIÓN DINÁMICA DETERMINÍSTICA ................................................................ 44 4.2.1 INTRODUCCIÓN ......................................................................................................................... 44 4.2.2 DECISOR................................................................................................................................... 45 4.2.3 ALTERNATIVAS Y VARIABLES DE ESTADO Y DE DECISIÓN ................................................................... 45 4.2.4 CRITERIO DE EVALUACIÓN Y FUNCIÓN DE RETORNO GLOBAL ............................................................. 46 4.2.5 SOLUCIÓN Y CRITERIO DE OPTIMALIDAD DE BELLMAN ...................................................................... 46 4.2.6 EJEMPLOS................................................................................................................................. 47 4.3 PROGRAMACIÓN DINÁMICA ESTOCÁSTICA ..................................................................... 59 4.4 APLICACIONES. ............................................................................................................... 60 4.5 EJERCICIOS ..................................................................................................................... 61 4.6 RESUMEN DEL CAPÍTULO ................................................................................................ 61 5 PROCESOS ESTOCÁSTICOS ................................................................................................. 62 5.1 INTRODUCCIÓN.............................................................................................................. 62 5.2 DEFINICIÓN .................................................................................................................... 62 5.3 LAS FUNCIONES DE AUTOCOVARIANZA Y AUTOCORRELACIÓN ......................................... 67 5.4 FUNCION DE AUTOCORRELACIÓN PARCIAL...................................................................... 69 5.5 PROCESOS CON RUIDO BLANCO ...................................................................................... 70 5.6 CADENAS DE MARKOV EN TIEMPO DISCRETO .................................................................. 70 EJEMPLO1.1.1 ........................................................................................................................... 71 EJEMPLO1.1.2 ........................................................................................................................... 71 5.7 ECUACIONES DE CHAPMAN–KOLMOGOROV ................................................................... 72 5.7.1 INTRODUCCIÓN ......................................................................................................................... 75 5.7.2 ECUACIONES DE CHAPMAN–KOLMOGOROV ................................................................................... 75 5.7.3 CLASIFICACIÓN DE LOS ESTADOS ................................................................................................... 75 5.8 CADENAS DE MARKOV DE TIEMPO CONTINUO ................................................................ 75 5.8.1 INTRODUCCIÓN ......................................................................................................................... 75 5.8.2 DEFINICIÓN .............................................................................................................................. 75 5.8.3 PROCESOS DE NACIMIENTO Y MUERTE .......................................................................................... 75 5.8.4 FUNCIÓN DE TRANSICIÓN DE PROBABILIDAD .................................................................................. 75 5.8.5 REVERSIBILIDAD......................................................................................................................... 76 5.9 DISTRIBUCIÓN EXPONENCIAL Y EL PROCESO DE POISSON ................................................ 76 5.9.1 INTRODUCCIÓN ......................................................................................................................... 76 5.9.2 DEFINICIÓN DE PROCESO DE POISSON ........................................................................................... 76 5.9.3 DISTRIBUCIONES DE LOS TIEMPOS ENTRE LLEGADAS Y DE ESPERAS ..................................................... 76 5 5.9.4 5.10 5.11 5.12 PROCESO DE POISSON NO HOMOGÉNEO ........................................................................................ 76 **TEORÍA DE RENOVACIÓN........................................................................................... 76 EJERCICIOS ................................................................................................................... 76 RESUMEN DEL CAPÍTULO .............................................................................................. 76 6 TEORÍA DE COLAS.............................................................................................................. 76 6.1 6.2 6.3 6.4 6.5 INTRODUCCIÓN.............................................................................................................. 76 ESTRUCTURA GENERAL DE UN SISTEMA DE LÍNEAS DE ESPERA ......................................... 77 NOTACIÓN DE KENDALL .................................................................................................. 77 LEY DE LITTLE.................................................................................................................. 77 TEOREMA DE BURKE ....................................................................................................... 77 6.6 6.7 6.8 6.9 MODELO EN DETALLE .................................................................................. 77 ***OTROS MODELOS...................................................................................................... 77 EJERCICIOS ..................................................................................................................... 77 RESUMEN DEL CAPÍTULO ................................................................................................ 77 M / M /1 7 TEORÍA DE INVENTARIOS .................................................................................................. 77 7.1 7.2 7.3 7.4 7.5 7.6 INTRODUCCIÓN.............................................................................................................. 77 MODELOS DE INVENTARIOS DETERMINÍSTICOS ............................................................... 78 MODELOS DE INVENTARIOS ESTOCÁSTCOS ..................................................................... 78 APLICACIONES................................................................................................................ 78 EJERCICIOS ..................................................................................................................... 78 RESUMEN DEL CAPÍTULO ................................................................................................ 78 8 TEORÍA DE JUEGOS............................................................................................................ 78 8.1 8.2 8.3 8.4 8.5 8.6 8.7 INTRODUCCIÓN.............................................................................................................. 78 JUEGOS COOPERATIVOS ................................................................................................. 78 JUEGOS NO COOPERATIVOS............................................................................................ 79 EQUILIBRIOS .................................................................................................................. 79 ANÁLISIS DE CONFLICTOS ............................................................................................... 79 EJERCICIOS ..................................................................................................................... 79 RESUMEN DEL CAPÍTULO ................................................................................................ 79 9 EL FUTURO DE LA INVESTIGACIÓN OPERACIONAL ESTOCÁSTICA......................................... 79 IV. REFERENCIAS BIBLIOGRÁFICAS ........................................................................................ 79 6 V. ÍNDICE ............................................................................................................................. 79 7 i. LISTA DE FIGURAS 8 ii. LISTA DE TABLAS 9 iii. PREFACIO We all learn best de things that we have discovered ourselves. Donald Knuth Dentro de la formación integral que las instituciones de educación superior propenden por sus estudiantes, la capacitación en ciencias básicas es muy importante para un ingeniero industrial. En particular se considera muy importante el manejo formal (y no solamente intuitivo) de las ideas de azar y de aleatoriedad. Pero ¿No es por definición el azar la antítesis de orden, de teoría? ¿Cómo formular una teoría sobre esa base? ¿Tendrá sentido? Y si lo tiene ¿Realmente es aplicable en ingeniería de la computación? Como se sabe, una teoría matemática está constituida, principalmente, por axiomas, definiciones, lemas, teoremas y la deducción o formulación de leyes generales que pueden deducirse a partir de todos esos conceptos. Los axiomas apelan a la intuición y subjetividad que, aparentemente, no tiene discusión, es decir son afirmaciones que se aceptan, sin necesidad de demostración, como universalmente válidos en un campo específico. Los axiomas se constituyen en los ladrillos que permiten construir definiciones (usualmente premeditadas para que la teoría sea coherente) junto con otras definiciones de la misma teoría. Las definiciones clarifican conceptos y tienden a establecer notaciones y acuerdos generales sobre alguna idea en particular. Por su parte los lemas y teoremas (a diferencia de las conjeturas) se distinguen por ser afirmaciones generales que pueden deducirse a partir de una serie de premisas y supuestos con la característica de que cuentan con una demostración formal de la conclusión que presentan. Se suele emplear la palabra lema cada vez que su resultado (aparentemente) no tiene una aplicación práctica directa sino que sirve de puente para establecer otros resultados de otros teoremas. Los teoremas frecuentemente tienen aplicación en la vida práctica y se les suele dar el nombre de sus autores cuando el resultado tiene un impacto significativo en ciencia y en tecnología. Las leyes generales hacen uso de los teoremas, lemas y definiciones y axiomas para describir resultados de aplicación general bajo un universo particular que se rige por los teoremas de esa teoría. Es frecuente que, en 10 ingeniería, por ejemplo, el ingeniero indague por alguna o algunas de esas leyes con el fin de solucionar problemas prácticos en ese universo regido por esos resultados. De esta manera se persigue en este texto el planteamiento de la teoría que regula los procesos estocásticos y sus aplicaciones directas en el modelamiento de sistemas de líneas de espera. Los programas académicos, tanto de pregrado como de postgrado, incluyen como asignaturas obligatorias sobre teoría de probabilidades la razón principal se fundamenta en que los principales concepto que se relacionan análisis formal de sistemas (y en particular de los sistemas de colas) emerge el comportamiento aleatorio en los sistemas en estudio. Por citar solamente dos casos, las oficinas bancarias y los aeropuertos basan su comportamiento en las leyes del azar y, por lo tanto, en la teoría de probabilidades y más específicamente en modelos avanzados de probabilidad que se conocen como procesos estocásticos. Para cumplir ese objetivo se vale de técnicas que, en general, son sencillas de aplicar e implementar y, la mayoría de las veces, fáciles de deducir y demostrar analíticamente; salvo algunos casos en los cuales se requieren desarrollos matemáticos fuertes para construir o demostrar que el modelo funciona. Así mismo, se aplica la teoría de procesos estocásticos al análisis de aquellos sistemas en los que se formas filas con el fin de deducir un conjunto de medidas de desempeño que permitan tomar decisiones que optimicen esos sistemas En Procesos estocásticos se reúnen tres áreas de particular interés: matemáticas discretas, Cálculo diferencial e integral, y Teoría de 1 probabilidades . Un profesional en el área de ciencias de la computación, por ejemplo, requiere aleatoriedad en la prueba de algoritmos, construcción de juegos, comparación entre algoritmos, construcción de sistemas inteligentes, ecosistemas de agentes autónomos, diseño y construcción de sistemas de realidad virtual, sistemas de vida artificial, diseño de computadores para la inteligencia artificial, etc. Un estadístico, por otra parte, puede requerirla para probar y comparar estimadores (antes de usarlos), calcular potencia de estadísticas, estimar distribuciones de probabilidad, etc. Los especialistas en optimización la 1 En la literatura el área de optimización es más comúnmente conocida como Investigación de operaciones; sin embargo, el autor prefiere no usar esa terminología por considerarla muy restrictiva y no acorde con su filosofía y fines. 11 ven como elemento clave en decisiones y simulaciones de larga escala, tales como análisis de sistemas de transporte masivo. En esta labor debo agradecer principalmente a mis estudiantes de la Universidad Nacional de Colombia y de la Universidad Javeriana de Bogotá, quienes, con sus comentarios y sugerencias, han hecho evolucionar unas notas de clase en un libro escrito principalmente para ingenieros pero que, seguramente, será de utilidad a otros profesionales interesados en el tema. OBJETIVOS Este libro ofrece un nivel introductorio al manejo formal de Procesos estocásticos basado en la teoría de probabilidades. El tratamiento del tema es, a la vez, riguroso en el sentido de presentar las principales demostraciones de los teoremas planteados, así como práctico al incluir una serie de ejemplos extraídos de la vida cotidiana y, en especial, del ámbito de la ingeniería industrial.. Se pretende que el estudiante adquiera la destreza en el manejo de los temas relacionados con el manejo del azar, la aleatoriedad y la incertidumbre y la pueda aplicar con solvencia a la solución y modelamiento de situaciones y problemas propios de la ingeniería. Para alcanzar este propósito, se hace uso de numerosos resultados tomados, principalmente, de Teoría de conjuntos, matemáticas discretas, calculo diferencial e integral, algebra lineal, entre otras. COMENTARIOS SOBRE LOS EJERCICIOS La experiencia muestra que es difícil, en la mayoría de los casos imposible, aprender los contenidos de una asignatura con la sola actividad de lectura del material teórico y los ejemplos desarrollados en el mismo, sin su debida aplicación a problemas específicos. Por ello es necesario que el lector se cuestione sobre lo que ha leído y se pruebe así mismo que los contenidos han sido asimilados apropiadamente. En ese sentido, los conjuntos de ejercicios propuestos al final de cada capítulo le ayudarán a aclarar ese dilema. Con el propósito de que el lector tenga una referencia rápida sobre la dificultad que envuelven los ejercicios propuestos, cada uno ha sido rotulado en forma general de la siguiente manera: 12 CCXX Donde, CC representan dos caracteres que indican el área de orientación y que deben interpretarse de acuerdo con la Tabla 1: CARACTERES MS MI MA ES EI EA IO IR IV ** ORIENTACION Matemática simple. Matemática intermedia. Matemática avanzada. Estadística y probabilidad Simple. Estadística y probabilidad Intermedia. Estadística y probabilidad avanzada. Ingeniería área de optimización. Ingeniería área de Realidad Virtual. Ingeniería área de vida artificial. Recomendado. Tabla 1: Áreas temáticas de orientación de los ejercicios propuestos Similarmente, las XX representan el nivel de dificultad el cual se interpreta con la información contenida en la Tabla 2: CODIGO DIFICULTAD DESCRIPCION 00 Solución inmediata (ejercicio mental). 10 Simple (Uno a tres minutos). 20 Medio (aprox. 15 minutos). 30 Moderadamente duro. 40 Plazo de proyecto. 50 Problema de Investigación. Tabla 2: Nivel de dificultad de los ejercicios propuestos. 13 14 1 INTRODUCCIÓN 2 COMPENDIO DE TEORÍA DE PROBABILIDADES 2.1 INTRODUCCIÓN 2.2 ESPACIOS DE PROBABILIDAD 2.3 VECTORES ALEATORIOS CONJUNTAS Y FUNCIONES DE DISTRIBUCIÓN 2.3.1 INTRODUCCIÓN 2.3.2 DEFINICIONES 2.4 FUNCIONES DE DENSIDAD CONJUNTAS 2.4.1 VECTORES ALEATORIOS DISCRETOS 2.4.2 VECTORES ALEATORIOS CONTINUOS 15 2.4.3 OTRAS CLASES DE VECTORES ALEATORIOS 2.5 DISTRIBUCIONES ESTOCÁSTICA CONDICIONALES E INDEPENDENCIA 2.5.1 VECTORES ALEATORIOS DISCRETOS 2.5.1.1 Distribuciones Marginales 2.5.1.2 Distribuciones Condicionales 2.5.2 VECTORES ALEATORIOS CONTINUOS 2.5.2.1 Distribuciones Marginales 2.5.2.2 Distribuciones Condicionales 2.5.3 INDEPENDENCIA 2.6 ESPERANZA MATEMÁTICA Y MOMENTOS 16 2.6.1 DEFINICIÓN 2.6.2 VECTOR DE MEDIAS 2.6.3 COVARIANZA Y COEFICIENTE DE CORRELACIÓN 2.6.4 VALOR ESPERADO DE FUNCIONES DE VARIABLES ALEATORIAS 2.6.5 MOMENTOS CONJUNTOS Y FUNCIONES GENERADORAS DE MOMENTOS 2.6.6 ESPERANZA E INDEPENDENCIA 2.7 FAMILIA DE GASUSS MULTIDIMENSIONAL 2.7.1 DENSIDAD CONJUNTA 2.7.2 FUNCIÓN GENERADORA DE MOMENTOS Y MOMENTOS 2.7.3 DENSIDADES MARGINALES Y CONDICIONALES. 2.8 FAMILIAS DE DISTRIBUCIONES UNIPARAMÉTRICAS 2.8.1 INTRODUCCIÓN 17 2.8.2 FAMILIAS DE DISTRIBUCIONES DISCRETAS 2.8.2.1 Bernoulli 2.8.2.2 Poisson 2.8.2.3 Geométrica 2.8.3 FAMILIAS DE DISTRIBUCIONES CONTINUAS 2.8.3.1 Uniforme 2.8.3.2 Gauss 2.8.3.3 Exponencial 2.8.3.4 Erlang 2.8.3.5 Gamma 2.8.4 RELACIONES ENTRE FAMILIAS 18 2.9 EJERCICIOS 2.10 RESUMEN DEL CAPÍTULO 19 3 TEORÍA DE LA DECISIÓN 3.1 INTRODUCCIÓN Todos los sistemas autónomos, bien sean naturales o artificiales, cuentan con mecanismos que les permite asumir cursos de acción con el propósito de coexistir en un ambiente caracterizado por el azar y la aleatoriedad. Esos mecanismos que les permiten tomar decisiones están, usualmente, regidos por factores psicológicos, por la experiencia y por la información con la cual el sistema cuenta. En Inteligencia Artificial, por ejemplo, a estos sistemas se les llama agentes mientras que entre los sistemas naturales es el ser humano el mejor de los representantes de ejercicio de autonomía. Un director de Tecnologías de la Información en una empresa, para solo poner un caso, requiere tomar buenas y acertadas decisiones en el ejercicio de su profesión para lograr sus objetivos y con ello ser exitoso. En cualquier proceso de toma de decisiones el mecanismos se dispara ante un estimulo externo que el agente recibe desde el contexto, desde su interior o bien desde ambos simultáneamente. Una vez el mecanismo se activa el componente ejecuta algún método de decisión (tan simple o complejo dependiendo del agente) el cual responde con la alternativa seleccionada, cuya criterio de optimalidad depende del método. La alternativa seleccionada produce un conjunto de acciones específicas que tienen como resultado uno o varios efectos internos al sistema y/o al contexto en el cual se desenvuelve el sistema. 3.2 LOS ELEMENTOS EN UN PROBLEMA DE DECISIÓN Los principales elementos que entran en juego a la hora de analizar un problema de decisión son: El Decisor, Las Alternativas, Los Estados de la Naturaleza, Los Criterio de Evaluación, Los Retornos o Consecuencias de la decisión y La Estructura de preferencias del decisor. A continuación se hacen algunos comentarios sobre cada uno de ellos. 20 3.2.1 DECISOR Definición 3—1: Decisor El sistema o Agente que tiene la potestad de elegir el curso de acción a seguir, es decir, asumir una decisión, se denomina Decisor. Aunque los avances en la teoría de Decisiones incluyen elementos de subjetividad y sentimientos de quien adopta la decisión, es decir en los actores decisores, en este capítulo, se supone a un decisor objetivo, y coherente y consistente en su forma de decidir, y que emplea racionalidad absoluta en el método que emplea para encontrar la alternativa óptima. 3.2.2 ALTERNATIVAS Definición 3—2: Alternativa Para un problema de Toma de Decisiones se debe determinar la lista exhaustiva y excluyente de posibles decisiones. A cada uno de los elementos de esa lista se le denomina Alternativa. Formalmente, se denotará por A ai i 1 a este conjunto. i n Observación 3—1 Aunque usualmente el número de alternativas es contable finito existe la posibilidad de que sea infinito e incontable. 3.2.3 ESTADOS DE LA NATURALEZA Existen circunstancias creadas por acciones de la naturaleza o por otros individuos o grupos que afectan los efectos de la decisión y que no están bajo el control del Decisor. Definición 3—3: Estados de la Naturaleza Aquellas circunstancias externas al actor decisor bajo las cuales se desenvolverá la decisión adoptada y que se suponen, al igual que las alternativas, exhaustivas y excluyentes se denominan Los Estados de la naturaleza. Se denotará por i i 1 a este conjunto. i m 21 Observación 3—2 1. Aunque es frecuente que el número de alternativas n sea igual al número de estados de la naturaleza m , en general son distintos. 2. Normalmente este conjunto es contable finito pero existe la posibilidad de que sea infinito e incontable. Definición 3—4: Estructura probabilística de . A la función de densidad de probabilidad f de ocurrencia de los estados de la naturaleza se le denomina Estructura probabilística de los estados de la Naturaleza. 3.2.4 EFECTOS O CONSECUENCIAS DE LA DECISIÓN Definición 3—5: Retorno de una decisión. La función r : A se denomina función de retorno si r ai , j representa el costo o la ganancia de haber asumido como decisión a la alternativa ai y haberse presentado el estado de la naturaleza j . 3.2.5 ESTRUCTURA DE PREFERENCIAS DEL DECISOR Pueden existir situaciones en las cuales los métodos formales produzcan no solamente una alternativa óptima sino un conjunto de ellas que cumplen con el criterio establecido. La pregunta que surge de inmediato es ¿Por cuál de ellas optar? Definición 3—6: Soluciones óptimas no dominadas. * * * * Al conjunto A ak ak A, , ak es óptima de alternativas óptimas se conoce con el nombre de alternativas no dominadas. En el caso en el A* 1 el decisor debe poner su subjetividad para seleccionar la alternativa definitiva. Para ello impone un orden sobre este conjunto basado en sus preferencias. Puesto que todas las alternativas de este conjunto cumplen el criterio establecido de optimalidad, cualquiera de ellas estará bien como decisión. 22 Definición 3—7: Estructura de preferencias del decisor. Un orden subjetivo basado en las preferencias del decisor impuesto sobre A* y que le da un ranking a las alternativas no dominadas se le llama estructura de preferencias del decisor. 3.3 MODELOS DE DECISIÓN Existen tres clases de problemas de decisión a considerar que dependen de la información que se tenga de la Estructura probabilística de ocurrencia de los estados de la naturaleza. Las Definiciones establecen las distinciones entre estos tres casos. 3.3.1 PROYECTOS Y DECISIONES En ingeniería normalmente las decisiones están asociadas a la ejecución de proyectos. Implementación de una red de computadores, diseño de un computador, desarrollo de un sistema de información, etc, son ejemplos en los cuales las decisiones juegan un rol importante. Los criterios para caracterizar una decisión frente a un determinado proyecto de ingeniaría se resume en la Tabla 3—1. Flexibilidad Se refiere a la capacidad del proyecto a responder a cambios que no pueden predecirse. Robustez Hace alusión a la capacidad de un proyecto de soportar satisfactoriamente todos los estados de la naturaleza previstos. Vulnerabilidad Es la capacidad del proyecto de soportar satisfactoriamente cambios que pueden predecirse. Adaptabilidad Es la capacidad del proyecto a responder a cambios que pueden predecirse. Elasticidad Es la capacidad del proyecto a retornar a una situación normal ante un cambio en las situaciones del entorno. Liquidez Es la facilidad de transición desde una situación dada en un periodo de tiempo a una situación deseada en el próximo periodo de tiempo. Plasticidad Es la capacidad del proyecto de permanecer en una misma situación. A diferencia de la flexibilidad que permite 23 transformación, la plasticidad no lo hace. Tabla 3—1: Características de las alternativas según los proyectos. 3.3.2 DECISIONES BAJO CERTEZA Definición 3—8: Problema de decisión bajo certeza. Cuando para el problema solo existe un posible estado de la naturaleza bajo el cual se desenvolverá la decisión asumida lo que implica que su probabilidad de ocurrencia es 1, se dice que el problema es de decisión bajo certeza. En otras palabras, el decisor conoce exactamente el contexto bajo el cual se desenvolverá la decisión tomada. Ejemplo 3—1: Modelos de programación lineal. Para un determinado problema de optimización se ha formulado el modelo de programación lineal: Máx Z 3x1 2 x2 s.a. 5 x1 x2 15 2 x1 4 x2 10 x1 , x2 0 Puesto que todos los coeficientes del modelo constituyen el contexto, esto es estados de la naturaleza, sobre el cual la decisión se va a desenvolver y ellos son contantes el problema es de decisión bajo certeza. En este caso es fácil verificar (aplicando el método SIMPLEX) que su solución óptima está dada por a* x1* , x2* 2.7778,1.1111 y, además, Z * 10.5555 . 3.3.3 DECISIONES BAJO RIESGO: ESPERANZA MATEMÁTICA CRITERIO RACIONAL. Definición 3—9: Problema de decisión bajo Riesgo. Un problema de decisión se dice bajo riesgo cuando el decisor conoce todos los posibles estados de la naturaleza bajo los cuales se puede desenvolver la decisión y cuenta con su función de densidad de probabilidad f de ocurrencia de los mismos. 24 Ejemplo 3—2: Modelos de programación lineal estocástico. Un determinado problema de optimización que pueda formularse mediante el modelo: Ópt. Z CX s.a. AX B X 0 Para el cual A , B , y C son vectores aleatorios correlacionados con función de densidad conjunta f A, B,C a, b, c conocida por el decisor antes de asumir un determinado curso de acción, es un problema clásico de decisión bajo riesgo. En esta clase de modelos, el método SIMPLEX no es aplicable de forma directa para encontrar la solución óptima. Definición 3—10: Modelo del problema de decisión bajo riesgo. A la cuádrupla R A, , f , r se le llama el modelo del problema de decisión bajo riesgo. Definición 3—11: Método de solución de racionalidad absoluta. Para un modelo R se dice que el método racionalidad absoluta es aquel que obtiene A* ak* ak* A, , E rk , ak* Ópt E ri , j ai i . Dónde E rk , ak* rk , j f j . Es decir es un método de optimalidad basado en la m j 1 esperanza matemática de los retornos de las alternativas. Ejemplo 3—3: POZO PETROLERO. En un proyecto de perforación petrolera se piensa que se pueden encontrar 500.000, 200.000 o 50.000 barriles o un pozo seco. La dirección general de la petrolera desea examinar las siguientes alternativas: Perforar directamente, Alquilar incondicionalmente o un alquiler condicionado. El alquiler incondicional consiste en cobrar US$45.000,oo por la explotación del campo sin ninguna otra contraprestación; mientras que en el alquiles condicionado se asume 25 algún riesgo compartido de manera que si el pozo resulta de 200.000 o más barriles la petrolera estatal recibirá regalías de US$0.50 por barril de lo contrario no habrá cobro alguno. Se sabe que el costo de perforación de un pozo productivo es de US$100.000,oo sin embargo, si el pozo es seco los costos de perforación ascenderán a US$75.000,oo. También se sabe que la utilidad de la operación por cada barril obtenido es de US$1.50,oo (Sin descontar el costo de perforación). Un estudio encontró que la probabilidad de que en un pozo se encuentren 500.000 barriles es de 0.1 de 200.000 es 0.15 de encontrar 50.000 barriles es 0.25 mientras que encontrarlo seco es de 0.5. ¿Cuál debe ser la decisión racional que el presidente de la compañía petrolera debería adoptar? Solución: En este problema el decisor es único y se supone absolutamente racional. Existen n 3 alternativas y, por lo tanto A a1 , a2 , a3 definidas de la siguiente manera: a1 : Perforar directamente. a2 : Alquilar incondicionalmente. a3 : Alquiler condicionado. De acuerdo con la información dada en el problema hay m 3 estados de la naturaleza. Estos son: 1 : El pozo tiene 500.000 barriles. 2 : El pozo tiene 200.000 barriles. 3 : El pozo tiene 50.000 barriles. 4 : El pozo está seco. 26 Por su lado, la estructura probabilística de los estados de la naturaleza se puede sintetizar en la tabla: i f i 1 0.10 2 0.15 3 0.25 4 0.50 Los efectos o consecuencias de la decisión se resumen en la tabla: 1 a1 65.000,oo a2 45.000,oo a3 250.000,oo Las Esperanzas Matemáticas 2 200.000,oo 45.000,oo 100.000,oo 3 -25.000,oo 45.000,oo 0,oo 4 -75.000,oo 45.000,oo 0,oo E ri , ai ri , j f j m j 1 a1 a2 a3 51.250,oo 45.000,oo 40.000,oo En consecuencia A* a1* 51.250, oo que muestra que solamente existe una alternativa óptima y no dominada. Por lo tanto no es necesario recurrir a la Estructura de preferencias del decisor. Finalmente, la decisión racional debe ser perforar directamente. 3.3.4 DECISIONES BAJO INCERTIDUMBRE Definición 3—12: Problema de decisión bajo Incertidumbre. Un problema de decisión es bajo incertidumbre cuando, aunque la ocurrencia de los estados de la naturaleza depende del azar y la aleatoriedad, su estructura probabilística f es desconocida. Si el conjunto de alternativas es finito y el número de realizaciones de los estados de la naturaleza es igualmente finito es posible representar el problema mediante la siguiente matriz de resultados. 27 1 j m a1 r11 r1 j r1m ai ri1 rij rim an rn1 rnj rnm Ejemplo 3—4 : Producción de vehículos Una empresa fabricante de vehículos estudia lanzar un nuevo modelo al mercado, pudiéndolo posicionar en cuatro segmentos distintos. Los segmentos candidatos son: Deportivo de bajo costo, Berlina familiar media, monovolumen y todo terreno. Los beneficios esperados (expresados en millones de dólares) en el año siguiente al lanzamiento en función del tipo de interés al consumo son: 1 2 3 4 a1 : Deportivo 24 19 10 16 a2 : Berlina 22 22 23 20 a3 : Monovolumen 23 23 21 15 a4 : Todo terreno 25 24 18 14 ¿Cuál sería la decisión que la empresa debería tomar? El criterio de decisión que se debe emplear depende de la hipótesis de comportamiento psicológico del jugador, y será alguno de los siguientes: 1. Criterio de decisión de Wald. 28 2. Criterio de decisión MÁXIMAX. 3. Criterio de decisión de Hurwicz. 4. Criterio de decisión de Savage. 5. Criterio de decisión de Laplace. Estos criterios de decisión no son objetivos y por lo tanto, los resultados de aplicar uno u otro no son comparables entre ellos. 3.3.4.1 Criterio de decisión de Laplace Está basado en el principio de indiferencia, es decir, en desconocimiento de las probabilidades de los distintos estados de la naturaleza, el jugador no puede decidir que una realización sea más probable que otra. En consecuencia los considera equi–probables, puesto que éstos le resultan indiferentes. Bajo este criterio, ahora sí se conocen las probabilidades de los estados de la naturaleza y por lo tanto lo ha trasformado en un problema bajo riesgo para el cual debe emplear el criterio de la esperanza matemática óptima. Formalmente, el criterio establece que de no tener las probabilidades de realización de los estados de la naturaleza, el comportamiento que se debe suponer es uniforme. Cuando j j 1 es discreto y finito se tiene que las probabilidades j m j m 1 P p j f j m j 1 m m j 1 j 1 que satisfacen p j p mp 1 se concluye que p la condición de que 1 y, por lo tanto, el criterio m 1 m * * * establece que A ak ak A, , E rk , ak Ópt rij rij . i m j 1 * Por su parte, de forma similar como en el caso discreto, cuando j j 1 j m es continuo la función que describe sus probabilidades es una densidad 29 uniforme continua en consecuencia, el criterio establece que A* ak* ak* A, , E rk , ak* Ópt 3.3.4.2 i r f d i . Criterios de vulnerabilidad Los criterios de vulnerabilidad son muy útiles cuando se consideran posibles estados de la naturaleza críticos tales como sequías, grandes avenidas, etc. Los criterios de vulnerabilidad más aplicados son: El criterio de la distancia al peor valor, el criterio basado en las funciones de arrepentimiento y el criterio de minimizar el máximo arrepentimiento. 3.3.4.2.1 Criterio de decisión MAXIMAX Este criterio supone un comportamiento optimista del jugador, es decir el decisor piensa que para la alternativa por la que opte le va a ocurrir lo mejor. Por este motivo le asocia a cada alternativa el mejor de los posibles resultados, declarando como alternativa óptima aquella que le proporcione el mejor de los mejores resultados. Designaremos por M i al mejor de los resultados de la alternativa Ai , es decir, M i mejor (rij ) i A* ak* ak* A, , rkj mejor mejor rij i j Esto nos lleva a hablar de dos expresiones de este modo, según los resultados sean favorables o desfavorables. 3.3.4.2.2 Criterio de decisión de Wald Este criterio se basa en la idea de que el jugador es prudente o pesimista. Ello le lleva a observar el problema de decisión en ambiente de incertidumbre de la siguiente manera, piensa que le va a ocurrir lo peor, por lo tanto, asocia a cada alternativa el peor de sus posibles resultados. De esta manera la alternativa optima será aquella que lleva asociado el mejor de los peores resultados ai peor rij j 30 Designando por mi al peor de los resultados de la alternativa ai , es decir, mi peor rij j A* ak* ak* A, , rkj mejor peor rij mejor mi i i j Esto nos lleva a hablar de dos expresiones de este criterio, según los resultados sean favorables o desfavorables: Resultados favorables: Resultados desfavorables: ai min rij mi ai max rij mi j j a* max min rij max mi i j a* min max rij min mi i i j i 3.3.4.2.3 Criterio de decisión de Savage Savage plantea el problema de evaluar la consecuencia de la decisión errónea en los siguientes términos. Si el decisor supiera con certeza la realización del estado de la naturaleza que se va a presentar, elegiría aquella alternativa que en su realización, le proporcionase un resultado óptimo. No hacerlo así supondría un costo de oportunidad, medido matemáticamente por la diferencia entre este resultado más favorable y el obtenido, es decir, por la comparación de la alternativa acertada y la elegida. De esta forma, se puede construir la llamada matriz de costos de oportunidad también conocida por otros nombres como matriz de arrepentimientos o pesares que será el punto de partida para solucionar el problema. Sobre dicha matriz se aplica el criterio de Wald, siempre con la expresión de resultados desfavorables debido a que en este caso los retornos representan siempre costos. En general, en la distancia al peor q * * * A ak ak A, , Máx E Rij R*j valor se puede emplear el criterio 1 q . Mientras que con la 31 comparación con otra alternativa q A ak* ak* A, , Mín E R*j Rij * 1 q ideal se emplea: . 3.3.4.2.4 Criterio de decisión de HURWICZ Este criterio supone una posición intermedia entre los extremos de pesimismo y optimismo. Hurwicz razona en el sentido de que la postura de decisión es intermedia entre el optimismo absoluto del criterio Máximax y el pesimismo extremo del criterio de Wald. La hipótesis fundamental de ese criterio es que el decisor es capaz de decidir su grado de pesimismo relativo a través de un coeficiente 0,1 , que llamamos coeficiente de pesimismo relativo. De esta forma, este criterio propone asignar a cada alternativa Ai un valor real ci que se obtiene como combinación lineal convexa del mejor y el peor resultad de cada alternativa, ponderando el peor resultado con el coeficiente de pesimismo relativo. La alternativa optima es aquella que proporciona un mejor valor de ci , es decir Ai ci mi 1 M i Donde mi peor rij representa el peor resultado de la alternativa Ai y i M i mejor (rij ) representa el mejor resultado de la alternativa Ai j A* mejor ci i Esto lleva a considerar dos versiones de este criterio según los resultados sean favorables o desfavorables: Resultados favorables: Resultados desfavorables: Ai ci mi 1 M i Ai ci mi 1 M i 32 Donde mi min rij y M i max rij i Donde mi max rij y M i mín rij A* max ci A* min ci j i i j i El principal problema que presenta este criterio es que no todo decisor es siempre capaz de definir su coeficiente de pesimismo relativo. Se debe hacer notar que si el grado de pesimismo total es 1 la regla de decisión de Hurwicz Coincide con la de Wald, y que si el grado de pesimismo es nulo 0 la regla de decisión de Hurwicz coincide con el Maximax Ejemplo 3—5 : Producción de vehículos (Cont.) La aplicación del criterio de Hurwicz al planteamiento del Ejemplo 4—2 conduce al siguiente análisis. Criterios de Wald Es un criterio de decisión para un comportamiento prudente. Por lo que a cada alternativa le asigna su peor resultado y de ellos escoge el mejor, es decir, ai min rij mij j a*j max min rij max mij i j i Por tanto para a1 min r1 j min 24, 19, 10, 16 10 j a2 min r2 j min 22, 22, 23, 20 20 j a3 min r3 j min 23, 23, 21, 15 15 j a4 min r4 j min 25, 24, 18, 14 14 j 33 min r max10, 20, 15, 14 20 es decir, la alternativa Luego max ij i j i optima según el criterio de Wald es la segunda, lanzar el modelo berlina. Criterio maximax Es un criterio de decisión para un comportamiento optimista o arriesgado. Por ello, a cada alternativa se le asigna su mejor resultado y de ellos elige el mejor, dicho de otra forma, elige la alternativa que proporciona el mejor resultado posible. Por lo tanto a j max rij M ij j a*j max max rij max M ij i j i Y así a1 max r1 j max 24, 19, 10, 16 24 j j a4 max r4 j max 25, 24, 18, 14 25 j a3 max r3 j max 23, 23, 21, 15 23 j a2 max r2 j max 22, 22, 23, 20 23 j Como max max rij max24, 23, 23, 25 25 , la alternativa elegida según el i j i criterio optimista, es lanzar el modelo todo-terreno. Criterio de HURWICZ Es un criterio de decisión intermedio entre el criterio de Wald y el de Máximax, en el cual el decidor puede evaluar su grado de pesimismo con un coeficiente al que se denota por . Con dicho coeficiente se establece una combinación lineal convexa entre el mejor y el peor resultado para cada alternativa y se elige al mejor, es decir, 34 ai ci mi 1 M i Donde M i max rij j y mi min rij j a* max ci max mi 1 M i j j Así pues para cada alternativa elegimos el peor y el mejor resultado y establecemos la combinación lineal convexa entre ambos que se expresa en la siguiente tabla: 1 2 3 4 Mi ci mi 1 M i a1 : Deportivo 24 19 10 16 10 24 c1 10 241 a2 : Berlina 22 22 23 20 20 23 c2 20 23 1 a3 : Monovolumen 23 23 21 15 15 23 a4 : Todo terreno c3 15 23 1 mi 25 24 18 14 14 25 c4 14 25 1 Como el decidor no expresa de manera concreta su coeficiente de pesimismo, estudiaremos lo que sucede para todos los posibles valores de . Un sencillo análisis matemático (posiblemente gráfico) conduce a las siguientes conclusiones. Para valores de 0, 1 la alternativa preferida es a4 mientras que para 1 ,1 es a2 . En consecuencia el valor de 1 se puede calcular al resolver la ecuación c4 c2 n, o, equivalentemente, 14 25 1 20 23 1 . De donde 1 0.25 . De esta manera si 0,0.25 decidirá la alternativa a4 en caso contrario optará por a2 . 3.3.4.3 Alternativas Pareto Óptimas 3.3.4.4 Criterios de Robustez 35 3.3.4.5 Criterios de Satisfacción 3.3.4.6 Criterios de Flexibilidad 3.4 ARBOLES DE DECISIÓN El modelo de decisión basado en matrices es adecuado para juegos sencillos pero dejan de ser útiles en situaciones más complejas. En este último caso los árboles de decisión se constituyen en la estructura de datos por excelencia para representar la situación de riesgo en la que el jugador participará. La Figura 3—1 muestra la representación de un juego complejo mediante el uso de una estructura de datos en forma de árbol. En un árbol de decisión, los nodos pueden ser de tres tipos distintos: Los nodos de decisión representados por un cuadrado, los nodos de incertidumbre representados por una circunferencia y, finalmente, las hojas o nodos de retornos que se simbolizan por medio de un rectángulo. Un árbol de decisión representa una situación de decisiones secuenciales complejas cuyos sub–árboles representan un problema de decisión más simple. Hasta llegar a un sub–árbol cuya solución se puede calcular mediante una matriz como las ya expuestas en la sección 3.3.3 Ejemplo 3—6: Licitación pública. Una empresa tiene la posibilidad de presentarse a un concurso público para la adjudicación del servicio internacional de correo aéreo, que le supondría un beneficio de 5 millones de euros al año. Para presentarse al concurso debe preparar un proyecto que le costará medio millón de euros, considerando que la probabilidad de conseguir el contrato es de un 70%. La empresa no posee aviones suficientes para cubrir el servicio por lo que en caso de conseguir el contrato, debe decidir si compra los aviones que le falta o los alquila a una empresa nacional o extranjera. El costo de cada 36 opción planteada es de 3, 1.5 y 1.3 millones de euros respectivamente. La empresa sabe que tiene una probabilidad de un 50% de conseguir una subvención estatal del 50% del importe de la compra, de un 30% del precio del alquiler si el proveedor es una empresa nacional y de un 20% si es extranjera. En este último caso, también tiene que tener en cuenta que el pago se realizará en dólares y que una devaluación del euro supondrá una pérdida adicional de 100.000 euros. Según la situación actual del mercado monetario, esta empresa considera que la probabilidad de una devaluación del euro es de un 75%. ¿Qué decisión deberá tomar la empresa? Solución Este es un problema de decisión secuencial, ya que la empresa debe tomar dos decisiones interdependientes: primero debe decidir si realiza el proyecto (se presenta al concurso) y, en caso de conseguir el contrato, si compra o alquila a una empresa nacional o extranjera los aviones que le faltan. La forma de representar y resolver este tipo de problemas es mediante el árbol de decisión. 37 3 P 3 0,5 3 P 4 0,5 1,5 a3 P 1 0, 7 4 a4 3,45 P 3 0,5 P 4 0,5 3 P 5 0, 75 6 a5 5 3,36 P 3 0,5 1 a1 P 5 0, 75 P 4 0,5 P 2 0,3 3,46 P 6 0, 25 2 3,10 3,20 P 6 0, 25 -0,5 a2 7 0 Figura 3—1: Árbol de decisión típico. Donde: a1 : a2 : a3 : a4 : a5 : 1 : Presentarse al concurso. 2 : No presentarse al concurso. 3 : Comprar los aviones. Alquilar los aviones a una empresa 4 : nacional. Alquilar los aviones a una empresa 5 : extranjera. Tener éxito. No tener éxito. Conseguir la subvención. No conseguir la subvención. Devaluación. 6 : No devaluación. Como se conocen las probabilidades de ocurrencia de cada estado de la naturaleza (ambiente de riesgo), se utilizar el criterio de valor monetario esperado para solucionar el problema. Ello supone que el valor de los nodos de incertidumbre será el promedio de los resultados a los que conducen las diferentes ramas que parten de dichos nodos. Así: 1 3,36 0,75 3, 46 0, 25 3,385 2 3,10 0,75 3, 20 0, 25 3,125 38 Si planteamos el problema resultante en forma normal se tiene: 0,5 0,5 3 4 a3 3 1,5 a4 3, 45 3 a5 3,385 3,125 Aplicando el criterio de valor esperado E R a3 3 3 0,5 1,5 0,5 2, 25 E R a4 4 3, 45 0,5 3 0,5 3, 225 E R A5 5 1 0,5 2 0,5 3,385 0,5 3,125 0,5 3, 255 Para valorar el segundo nodo de decisión optimizamos los resultados esperados correspondientes a cada alternativa: máx E R ai 5 3, 225 opt ai a5 es decir alquilar los aviones a i 3,4,5 i 3,4,5 una empresa extranjera Al valorar el siguiente nodo de incertidumbre, que escrito en forma normal resulta: 0, 7 0,3 A/ 1 2 a1 3, 255 0,5 a2 0 0 Así pues E R A1 6 3, 255 0,7 0,5 0,30 2,1285 E R A2 0 39 El valor del primer nodo de decisión será máx E R ai 6 2,1285 opt ai a1 es decir presentarse al concurso. i 1,2 i 1,2 Por tanto la decisión óptima será presentarse al concurso y, si lo gana, alquilar los aviones a una empresa extranjera. Con esta forma de actuar, el decisor espera conseguir 2,1285 millones de euros. 3.5 VALOR ESPERADO DE LA INFORMACIÓN PERFECTA Es evidente que un decisor tomaría siempre la mejor decisión si supiera el estado de la naturaleza que va a presentarse, es decir, si tuviera información perfecta de su entorno. Así, todo decisor, una vez resuelto el problema, se plantea si puede obtener más información sobre el estado de la naturaleza, de manera que lo ideal sería que tuviera certeza sobre la presentación de las concreciones. Por tanto, toda mejora en la información sobre el entorno supone, en general, una mejora en los resultados obtenidos. En consecuencia, todo decisor podría estar interesado en obtener información adicional que le permitiese un mejor conocimiento del entorno. Esa información adicional puede ser de dos tipos: 1. Información adicional de carácter perfecto o información cierta: se caracteriza porque le permite al decisor comportarse como si supiera exactamente qué concreción del estado de la naturaleza va a presentarse, es decir, como si el problema se plantease en ambiente de certeza. 2. Información adicional de carácter imperfecto o información aleatoria: se caracteriza porque tiene distintas posibles concreciones, permitiéndole al decisor rectificar la distribución de probabilidad que en un principio otorgó el estado de la naturaleza (Teorema de Bayes). 40 Ahora bien, toda información adicional tiene un costo. Por ello, el decisor, antes de contar con esa información, debe conocer el valor que para él tiene y determinar si le interesa o no comprarla. Para valorar la información adicional de carácter perfecto introducimos los siguientes conceptos: 3.5.1 REIP: RESULTADO ESPERADO CON INFORMACIÓN PERFECTA Representa la cantidad que el decisor espera ganar si supiera con certeza qué concreción del estado de la naturaleza va a presentarse. Se calcula como REIP E rj * donde rj * mejor (rij )j . Si E es una variable aleatoria i discreta entonces REIP rj *Pj mientras que Si E es una variable j aleatoria continua entonces REIP rj * f ( E j )d j . Cabe advertir que si los jJ resultados son favorables, ese <<mejor>> es máximo y, en caso contrario, es mínimo. 3.5.2 RER: RESULTADO ESPERADO EN RIESGO Corresponde al valor esperado en ambiente de riesgo. 3.5.3 VIP: VALOR DE LA INFORMACIÓN PERFECTA Representa el valor que la información adicional perfecta tiene para el decisor porque supone la mejora en los resultados esperados que obtendría con esa información. Se calcula, por tanto, como VIP REIP RER . Este valor representa la cantidad máxima que el decisor estará dispuesto a pagar por la información adicional de carácter perfecto. 3.5.4 CIP: COSTO DE LA INFORMACIÓN PERFECTA Representa la cantidad de dinero que le cuesta al decisor adquirir la información perfecta. Por tanto el criterio de decisión está dado por: 1. Si CIP VIP , el decisor adquirirá la información perfecta. 2. Si CIP VIP , el decisor no adquirirá la información perfecta. 41 Ejemplo 3—7: Licitación pública (cont.). Para el mismo enunciado del Ejemplo 3—6 . Si pudiera disponer de información perfecta sobre la concesión de las subvenciones ¿Cuánto estaría dispuesto a pagar por ella? Solución: Para poder contestar a esta pregunta debemos conocer el valor que para el decisor tiene la información de carácter perfecto sobre la consecución de las subvenciones. Matemáticamente podemos calcular como VIP REIP RER , siendo: REIP rij* p j 3, 45 0,5 3,125 0,5 3, 2875 si j 3 ri*3 3, 45 si j 4 ri*4 3,125 RER 5 3, 255 Por tanto VIP 3, 455 3, 255 0, 2 Esta es la cantidad, en millones de euros, que el decisor está dispuesto a pagar, como máximo, por una información perfecta sobre la concesión de las subvenciones. 42 3.6 TEORÍA DE LA UTILIDAD 3.6.1 INTRODUCCIÓN 3.6.2 FUNCIONES DE UTILIDAD 3.6.3 CURVAS TÍPICAS DE UTILIDAD 3.7 DECISIONES MULTIOBJETIVO 3.7.1 INTRODUCCIÓN 3.7.2 SOLUCIONES NO DOMINADAS 3.7.3 INCLUSIÓN DE LA ESTRUCTURA DE PREFERENCIAS DE DECISOR 3.7.4 MÉTODO DE LAS RESTRICCIONES 3.7.5 MÉTODO DE LAS PONDERACIONES 3.8 MÚLTIPLES ACTORES DECISORES 43 4 PROGRAMACIÓN DINÁMICA 4.1 INTRODUCCIÓN La programación dinámica es una herramienta matemática que permite resolver problemas de decisión secuencial. En este tipo de problemas las decisiones son interdependientes entre sí. Dependiendo de los estados de la naturaleza los problemas de programación dinámica se pueden clasificar en dos grandes grupos: Problemas determinísticos y Problemas de naturaleza estocástica. A un problema que puede solucionarse empleando los métodos de Programación dinámica se le denomina el sistema, mientras que a los subsistemas secuenciales de que consta se les llama etapas. x0 H x1 xi 1 ETAPA1 f0 dm di d1 H xi xm 1 G f1 fi 1 xm ETAPAm ETAPAi r1 H ri G fi f m 1 rm G fm SISTEMA Figura 4—1: Esquema general de un problema de programación dinámica. 4.2 PROGRAMACIÓN DINÁMICA DETERMINÍSTICA 4.2.1 INTRODUCCIÓN Como se estableció en la sección 3.2.3 en los problemas determinísticos se conocen tanto los estados de la naturaleza (en los que la decisión se va a desenvolver) como los resultados. Se trata pues de encontrar la mejor política que optimice la situación en este ambiente de certeza. 44 El problema se subdivide en m etapas. Cada etapa se caracteriza por la toma de una y solo una decisión. Tanto en el sistema como en la i ésima etapa i 1, 2, problema de decisión con los siguientes elementos: , n se plantea un 4.2.2 DECISOR En este tipo de problemas de decisión se supone un único decisor absolutamente racional. 4.2.3 ALTERNATIVAS Y VARIABLES DE ESTADO Y DE DECISIÓN En cada etapa el decisor debe optar por una cantidad d i denominada variable de decisión de ese subsistema. Definición 4—1: Política A una posible tupla d , d , 1 2 ,dj, , d m conformada por valores posibles de todas las variables de decisión del sistema se le denomina política del decisor. Definición 4—2: Alternativas El conjunto de todas las posibles políticas del sistema corresponde a las alternativas del problema de decisión. Formalmente hablando A ai d1 , d 2 , ,dj, , dm i n i i 1 se conoce como las alternativas del problema de programación dinámica. En este tipo de problemas se define adicionalmente, una variable adicional que describe el entorno del sistema y de cada subsistema o etapa y que contendrá toda la información necesaria para la toma de decisión coherente en cada una de las etapas y, en consecuencia, del sistema. Definición 4—3: Variable de estado 45 La variable X cuyo valor x j recuerda el estado (memoria) del sistema luego de tomar la decisión en la etapa j se conoce con el nombre de Variable de estado. Observación 4—1 1. La variable de estado X es especialmente útil en dos momentos: x j 1 y x j . Es decir antes y después de tomar la decisión j . 2. Aunque la mayoría de problemas requieren únicamente una variable de estado, existen situaciones en las que es necesario manejar un vector de estado, esto es X X1 , , X k , , X s . La relación entre los diferentes valores de la variable de estado se establece de manera recursiva mediante las ecuaciones de recurrencia dada por x j H x j 1 , d j en la que H , es la función de actualización de estado a veces conocida como la dinámica del cambio de la variable de estado. Puesto que esta ecuación en diferencias es de primer orden únicamente se requiere una condición de frontera x0 . Este valor inicial de X representa el estado de antes de tomar cualquier decisión. 4.2.4 CRITERIO DE EVALUACIÓN Y FUNCIÓN DE RETORNO GLOBAL rj representa el resultado o retorno de la etapa j ésima y con ello la contribución de esa etapa al rendimiento total del sistema. Puesto que el propósito es encontrar una política óptima y no solamente optimizar el resultado de la j ésima etapa, es necesario definir una función de rendimiento global G , . En general, el rendimiento global obtenido hasta la j ésima etapa se denota como f j y su dinámica se expresa como una relación de recurrencia de la de la forma f j G f j 1 , rj con condición inicial o de frontera f 0 . Este valor de arranque denota el rendimiento acumulado antes de empezar a resolver el problema. 4.2.5 SOLUCIÓN Y CRITERIO DE OPTIMALIDAD DE BELLMAN 46 4.2.5.1 La Solución del problema de programación dinámica. solución ai* d1 , d2 , ,dj, del problema , dm * i (o sistema) será la política para la cual el rendimiento global f j tras la decisión en la última etapa sea óptimo. Es decir, aquella política ai* para * la cual f m opt f m . 4.2.5.2 Principio de Bellman. El principio de Bellman establece que una política es óptima si cualesquiera que sean el estado y la decisión iniciales en una etapa dada las decisiones que quedan por tomar constituyen una política óptima respecto del estado restante de la primera decisión. En otras palabras una política es óptima si está constituida por subpolíticas óptimas. 4.2.5.3 Ecuación de Bellman. * Dada la función f m que debe optimizarse en m etapas y siendo f m1 el valor óptimo global hasta la etapa m 1 , f m debe construirse a partir de f m*1 para que el problema sea óptimo también en m etapas. * Recursivamente significa que f j f f j 1 , rj dado f 0 . El orden de los cálculos para llegar a una solución depende de las características del problema en cuestión. 4.2.6 EJEMPLOS Ejemplo 4—1: Pasar el tercio en la Universidad Nacional. Suponga que para poder continuar sus estudios en la Universidad Nacional, un estudiante debe aprobar la tercera parte de las asignaturas inscritas. Juan, un estudiante de Ingeniería de Sistemas, tiene inscritas Algebra, Cálculo y dibujo. Ya solo le quedan 4 semanas para los exámenes y sabe que la probabilidad de aprobar cada una de las materias 47 depende del número de semanas que dedique a estudiarla. Una reflexión sobre sus aptitudes personales le llevó a concluir que estas probabilidades son: No. Semanas Algebra Cálculo Dibujo 0 0.2 0.25 0.1 1 0.3 0.3 0.3 2 0.35 0.33 0.4 3 0.38 0.35 0.45 4 0.4 0,38 0.5 Determine, mediante programación dinámica el número de semanas que debe dedicar a estudiar cada asignatura en el tiempo que le queda para que la probabilidad de continuar como estudiante regular de la Universidad Nacional sea máxima. Solución: Etapas: di d1 x0 H x1 ETAPA1 : ÁLGEBRA f0 r1 G H d3 x2 ETAPAm : DIBUJO ETAPAi : CÁLCULO f1 r2 G H x3 r3 f2 G f3 PasarElTercio Figura 4—2: Diagrama de etapas para el problema del tercio de permanencia 48 Variable de decisión: Para este problema hay 3 variables de decisión por lo cual las alternativas son de la forma A ai d1 , d2 , d3 i i 1 en la cual d j es el i n número de semanas de estudio utilizadas en la etapa j . Sus posible valores son 0,1,2,3,4 Variable de estado: La variable de estado x j representa el número de semanas de estudio utilizadas hasta la etapa j . Es fácil ver que x j H x j 1 , d j x j 1 d j . Ambien en este caso sus posible valores son 0,1,2,3,4. Función de rendimiento: El objetivo es maximizar la probabilidad de aprobar al menos una de las tres asignaturas. Esto es máx P A C D . Puesto que A C D A C P A C D y D 1 P A C los eventos son D 1 P A P C P D . independientes En consecuencia, maximizar la probabilidad de aprobar al menos una de las asignaturas es lo mismo que minimizar la probabilidad de no aprobar ninguna. El rendimiento en cada etapa rj representa la probabilidad de no aprobar la asignatura correspondiente de la j ésima etapa. Esta corresponde a la complementaria de la que viene dada en la tabla de probabilidades del enunciado. Ecuación recursiva del rendimiento: f1* x1 mín P A d1 f 2 x2 P C f1* x1 f 2* x2 mín f 2 x2 d2 49 f3 x3 P D f 2* x2 f3* x3 mín f3 x3 d3 Ahora es posible el modelo comenzando desde la primera etapa a la última etapa. PRIMERA ETAPA(Algebra) x1 x0 0 f1 x1 f1* x1 x0* d1* 0 1 2 3 4 0.80 0.70 0.65 0.62 0.60 P A 0.80 0.70 0.65 0.62 0.60 0.80 0.70 0.65 0.62 0.60 0 0 0 0 0 0 1 2 3 4 SEGUNDA ETAPA(Cálculo) x2 x1 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0.75 0.70 0.67 0.65 0.62 – 0.75 0.70 0.67 0.65 – – 0.75 0.70 0.67 – – – 0.75 0.70 – – – – 0.75 0.60 0.56 0.536 0.52 0.496 – 0.525 0.490 0.469 0.455 – – 0.4875 0.455 0.4355 – – – 0.465 0.434 – – – – 0.45 P C f 2 x2 P C f1* x1 f 2* x2 0.6000 0.5250 0.4874 0.4550 0.4340 x1* 0 1 2 2 3 d 2* 0 0 0 1 1 TERCERA ETAPA(Dibujo) x3 x2 4 0 1 2 3 4 0 1 2 3 0.5 0.55 0.6 0.7 0.9 0.3 0.28875 0.2925 0.3185 P D f3 x3 P D f 4 * 2 0.3906 x2 f3* x3 0.28875 x2* 1 d 3* 3 Política óptima: Leyendo las tablas de la última a la a* d1* , d 2* , d 3* 1,0,3 con x3* 4 , x2* 1 , x1* 1 y x0* 0 . primera resulta Por lo tanto el estudiante debe dedicar a estudiar Algebra una semana, ninguna a cálculo 50 y tres semanas a Dibujo. Además la probabilidad de continuar como estudiante regular de la Universidad es 0.71125. Ejemplo 4—2: El problema de Fabricación. El presidente de una compañía de alimentos quiere saber cómo distribuir de forma óptima las 9 unidades de materia prima que diariamente entran a la empresa entre los tres productos que ellos fabrican. El producto A necesita como mínimo 2 unidades, el producto B requiere 1 y el producto C necesita 3. Sea ui el número de unidades que se utilizan de cada producto. El costo de fabricación es u A2 para A, 3uB para B y 6uC para C. 1. Justifique si es posible resolver este problema a través de programación dinámica. 2. Si la respuesta de 1 es afirmativa, plantee el problema para su resolución mediante programación Dinámica indicando sus elementos. 3. Determine la política óptima. Solución: 1. Es posible dividir este problema en tres sub problemas de decisión interdependientes: Cantidad de materia prima a asignar a cada uno de los productos A,B y C. lo que permite aplicar la Programación dinámica. 2. Programación dinámica: Etapas: La Figura 4—3 muestra el esquema general de programación dinámica para este ejemplo. Variable de decisión: Para este problema hay 3 variables de decisión por lo cual las alternativas son de la forma A ai d1 , d2 , d3 i u A , uB , uC i i 1 en la cual i n d j es el número de unidades de materia prima que asigna al producto 51 (etapa) j . Sus posibles valores son de 2 a 5, de 1 a 4 y de 3 a 6 respectivamente. d1 u A x0 H x1 ETAPA1 : A f0 r1 G d3 uC d 2 uB f1 H ETAPAi : B r2 G x2 H x3 ETAPA3 : C r3 f2 G f3 FABRICACIÓN Figura 4—3: Diagrama de etapas para el problema de Fabricación Variable de estado: La variable de estado x j representa el número de unidades de materia prima repartidas una vez se ha tomado la decisión del producto j . Es fácil ver que x j H x j 1 , d j x j 1 d j . De acuerdo con la información disponible los posibles valores del estado son x0 0 , x1 2,3, 4,5 , x2 3, 4,5,6 x 9 , y 3 Función de rendimiento: rj mide la consecuencia de la decisión tomada en la j ésima etapa. En este caso son los costos de fabricación de cada productos y con ello la 2 contribución de esa etapa al rendimiento total del sistema. r1 u A , r2 3uB r3 6uC , . 52 La función de rendimiento global R es el costo total de la fabricación de los productos A, B y C. De modo que R r1 r2 r3 . Por su parte, el * r1 r2 r3 . rendimiento óptimo global es R mín R dmín ,d ,d 1 2 3 Ecuación recursiva del rendimiento: La ecuación recursiva recoge el rendimiento acumulado hasta la etapa j , contemplando solo los rendimientos óptimos de cada etapa y descartando el resto de valores correspondientes a políticas no óptimas. f0 x0 0 f j x j rj f j*1 x j 1 Dadas las características del problema es posible ordenar los cálculos para su solución de la siguiente manera: PRIMERA ETAPA(Producto A) Ecuación de transformación de la primera etapa: x1 x0 d1 d1 * 2 Ecuación recursiva de la primera etapa: f1 x1 r1 f0 x0 r1 u A , siendo f1* x1 mín r1 . d1 x1 x0 0 f1 x1 f1* x1 d1* x0* 2 3 4 5 4(2) 9(3) 16(4) 25(5) r1 d1 4 9 16 25 2 3 4 5 0 0 0 0 SEGUNDA ETAPA(Producto B) Ecuación de transformación de la segunda etapa: x2 x1 d2 entonces d2 x2 x1 . 53 * * Ecuación recursiva de la segunda etapa: f 2 x2 r2 f1 x1 3uB f1 x1 , * r2 f1* x1 . siendo f 2 x2 mín d 2 x2 x1 3 4 5 6 2 3 4 5 2 3(1) – – – 6(2) 3(1) – – 9(3) 6(2) 3(1) – 12(4) 9(3) 6(2) 3(1) r2 d 2 3 4 7 – 10 12 13 15 16 18 f 2 x2 r2 5 – – – – 19 – 22 28 f1* x1 f 2* x2 d 2* x1* 7 10 13 16 1 2 3 4 2 2 2 2 TERCERA ETAPA(Producto C) Ecuación de transformación de la tercera etapa: x3 9 x2 d3 entonces d3 9 x2 . * * Ecuación recursiva de la tercera etapa: f3 x3 r3 f 2 x2 6uC f 2 x2 , * r3 f 2* x2 . siendo f3 x3 mín d 3 x3 x2 9 3 4 5 6 36(6) 30(5) 24(4) 18(3) r3 d3 3 4 5 6 43 40 37 34 f3 x3 r3 f 2* x2 f3* x3 d 3* x2* 34 3 6 3. Política óptima: De la tercera tabla se obtiene x3* 9 y d3* 3 entonces x2* 6 . Por su parte de la segunda tabla tenemos que si x2* 6 entonces d 2* 4 y x1* 2 . Con este resultado, en la primera tabla si x1* 2 entonces d1* 2 y x0* 0 . * * Equivalentemente A a1 d1 , d2 , d3 i 2, 4,3i . La política óptima es asignar dos unidades de materia prima al producto A, cuatro al B y tres al C. Consiguiendo con esta asignación un costo mínimo de 34 u.m. 54 Ejemplo 4—3: Modelo de programación lineal. Resolver a través de programación dinámica el problema de programación lineal formulado en el Ejemplo 3—1. Solución: Por conveniencia en la notación es posible rescribir el problema dado de la siguiente manera: Máx Z 3d1 2d 2 s.a. 5d1 d 2 15 2d1 4d 2 10 x1 , x2 0 Etapas: La Figura 4—3 muestra el esquema general de programación dinámica para este ejemplo. Nótese que se han definido dos etapas una por cada una de las variables de decisión. Variable de decisión: En el problema de programación lineal planteado se pueden determinar 2 variables de decisión por lo cual las alternativas son de la forma A ai d1 , d 2 i i n i 1 en la cual d j es el nivel decidido para la j ésima variable de decisión del modelo propuesto. Variable de estado: La variable de estado x j será la cantidad de recurso disponible después de tomada la decisión de la etapa j . Ahora la variable de estado es bidimensional, esto es: 2 H: r , f j j 2 xj1 x j H rj , f j 2 x j 55 En donde cada x j se obtiene de la k ésima restricción del modelo de k k k k programación lineal original y x j x j 1 j d j representa la cantidad k disponible del k ésimo recurso; así que j d j es la cantidad del recurso k consumido. Específicamente, x1 15 x0 02 x 10 0 x11 x01 5d1 15 5d1 x1 2 2 x x 2d 10 2d1 1 1 0 x1 x1 d1 15 5d1 d 2 x2 22 12 x x 4d 10 2d1 4d 2 2 1 1 Posible valores para las variable de decisión: Dadas las condiciones de no negatividad del modelo de programación lineal, d j 0 para j 1, 2 . Lo que significa que para las dos variables el menor valor posible es 0. Una observación cuidadosa a las restricciones del modelo permite establecer los valores máximos para cada una. Si solamente existiera la primera restricción, el mayor valor para d1 es 3 puesto que es el primer valor que se asume de las variables de decisión. Este valor se obtiene x01 15 3 . Ahora bien, si solamente existiera la segunda restricción, su 5 5 x0 10 5 . mayor valor sería 2 2 2 Puesto que se deben cumplir simultáneamente ambas restricciones d1 0,3 . Al llegar a la segunda etapa ya se tiene el valor de d1 . Y de forma similar se puede deducir el mayor posible valor para d 2 . Si solamente existiera 56 x1 15 5d1 . Ahora la primera restricción, el mayor valor para d 2 será 1 1 bien, si solamente existiera la segunda restricción, su mayor valor sería x1 10 2d1 . Puesto que se deben cumplir simultáneamente ambas 4 4 10 2d1 . restricciones d 2 0, mín 15 5d1 , 4 2 1 x 2 d 2 0, mín x0 , 0 4 d1 0,3 x1 15 x0 02 x 10 0 H x 1 d1 x1 20 x 4d 1 0 ETAPA1 ETAPA2 r1 3d1 f1 x1 f 2* x2 r1 H x11 d 2 x2 2 x 4d 1 2 G f3 x3 f3* x3 r2 r2 2d 2 G f3 x3 0 Programación Lineal Figura 4—4: Elementos del problema de Programación lineal. Función de rendimiento: rj mide la consecuencia sobre la función objetivo de la decisión tomada en la j ésima etapa. En este caso son las ganancias que aportan al modelo la decisión j ésima . Esto es r1 3d1 , r2 2d2 . La función de rendimiento global Z es la ganancia (función objetivo). De modo que Z r1 r2 . Por su parte, el rendimiento óptimo global es Z * máx Z más r1 r2 . Con lo cual la función recursiva es d ,d 1 2 f j f j*1 rj . Específicamente, 57 f3 0 f 2 f3* r2 r2 2d2 f1 f 2* r1 r2* r1 2d2* 3d1 SEGUNDA ETAPA Aquí, 10 2d1 d 2 0, mín 15 5d1 , y 4 f 2 f3* r2 r2 2d2 luego f 2* máx 2d2 . Obsérvese que al ser una función lineal de pendiente positiva, su máximo se alcanzará en el extremo derecho del intervalo. En consecuencia, 10 2d1 10 2d1 * d 2* mín 15 5d1 , y f 2 2mín 15 5d1 , o escrito de 4 4 otra manera: 15 5d1 10 2d1 d mín 15 5d1 , 10 2d1 4 4 * 2 Si d1 2.7778 Si d1 2.7778 y 30 10d1 10 2d1 f 2mín 15 5d1 , 10 2d1 4 2 * 2 Si d1 2.7778 Si d1 2.7778 PRIMERA ETAPA De manera similar, d1 0,3 y 58 30 10d1 Si d1 2.7778 30 7d1 f1 f r1 3d1 10 2d1 10 4d1 Si d1 2.7778 2 2 30 7d1 Si d1 2.7778,3 f1* máxf1 máx 10 4d1 . Si d1 0, 2.7778,3 2 * 2 Luego d1* 2.7778 f1* 10,5555 y 10 2d1 d 2* mín 15 5d1 , 4 1.1111 con f1* 10,5555 . La política óptima A* a1* d1* , d2* 2.7778,1.11111 1 Si d1 0, 2.7778,3 Como también 10 2 2.7778 mín 15 5 2.7778, 4 . es . Si d1 2.7778,3 adoptar i n i 1 a decisión óptima con un valor óptimo de la función objetivo Z * 10.5555 . 4.3 PROGRAMACIÓN DINÁMICA ESTOCÁSTICA En esencia, el planteamiento del modelo es el mismo en la programación dinámica determinística que en la estocástica. Véase la Figura 4—1. La diferencia está en que en programación dinámica estocástica tanto las variables x de estado como los retornos rj son de naturaleza estocástica y, por lo tanto, tendrán asociadas funciones de densidad de probabilidad. Formalmente hablando X f X x o /y R j f R j rj . Este hecho hace que el problema de la programación estocástica se enmarque dentro de la teoría de decisiones bajo riesgo. En consecuencia, el criterio de decisión racional será, principalmente, optimizar el valor esperado de la función de rendimiento global. Ejemplo 4—4: El problema de inversión. Una persona quiere invertir $C miles en el mercado de valores durante los siguientes n años. El plan de inversión requiere comprar las acciones al 59 inicio del año y venderlas al final del mismo año. Posteriormente, el dinero acumulado se puede reinvertir (todo o parte) al inicio del siguiente año. El grado de riesgo en la inversión se representa expresando el rendimiento en forma probabilística. Un estudio del mercado muestra que el rendimiento sobre la inversión está afectado por m (favorable o desfavorable) condiciones de mercado y que la condición j da un rendimiento rj nn con probabilidad p j con j 1, 2, , m ¿Cómo debe invertir la cantidad $C para conseguir la acumulación más alta al final de los n años? Solución: En este caso las etapas están representando a los años, las alternativas serán los d j que corresponden a los montos de capital invertidos en ese año mientras que el estado x j del sistema será el capital que queda después de tomar la decisión en el respectivo año. Los resultados de cada etapa serán rj . Que representan el capital invertido actualizado con su ganancia o pérdida. La función de transformación es tal que ella actualiza el estado de la siguiente forma x j 1 k d j x j d j x j k d j m * f máx Finalmente, el rendimiento global es i 0d x pk f j 1 x j k d j . j j k 1 Nótese que f n1 xn1 xn1 . Puesto que ninguna inversión ocurre luego del año n . 4.4 APLICACIONES. Son diversas las aplicaciones de la programación dinámica. Prácticamente en todas las áreas del conocimiento se encuentran aplicaciones: Derecho, Ingeniería, matemáticas, economía, etc. En particular, la programación dinámica, bien sea estocástica o determinística, tendrá una aplicación directa en los modelos de decisión markoviamos y en teoría de juegos que se discutirán más adelante. 60 4.5 EJERCICIOS 4.6 RESUMEN DEL CAPÍTULO 61 5 PROCESOS ESTOCÁSTICOS Ejemplo 5—1: Borrachito. Suponga que un borracho se encuentra en el borde de un precipicio, si da un paso hacia delante, él caerá en el abismo. Nuestro borracho da pasos aleatorios, es decir hacia el precipicio o en sentido contrario indiferentemente, si la probabilidad de que el borracho de el paso hacia el precipicio es 1/ 3 y la probabilidad de que se aleje de este es 2 / 3 , cual es la probabilidad de que nuestro borracho se salve. 5.1 INTRODUCCIÓN Una generalización interesante del concepto de vector aleatorio se encuentra en la idea de proceso estocástico. En un proceso estocástico, las estructuras probabilísticas de los vectores aleatorios dependen del tiempo y del espacio en el cual se desenvuelvan las variables del vector. 5.2 DEFINICIÓN Definición 5—1: Proceso Estocástico. Un Proceso estocástico es una familia de variables aleatorias indexadas por el tiempo Z ,t , donde pertenece al espacio muestral y t pertenece al conjunto de índices. Observación 5—1 Para un t fijo, Z ,t es una variable aleatoria. Mientras que para un dado, Z ,t es una función de t , llamada función muestral o realización. La población que consiste en todas las posibles realizaciones se denomina el conjunto de series de tiempo del proceso. Se asume que el conjunto de índices serán los enteros, a menos que se establezca lo contrario. Considere un conjunto finito de variables aleatorias Zt , Zt , , Zt de un proceso estocástico Z ,t : t 0, 1, 2, , La 1 2 n distribución n -dimensional (conjunta)está definida como 62 F zt1 , , ztn p : z , t1 zt1 , , z , tn ztn Definición 5—2: Proceso Estocástico estacionario. 1. Se dice que un proceso estocástico es estacionario en distribución de primer orden si su función de distribución uni -dimensional es invariante al tiempo, es decir, si F zt1 F zt1 k para todo t1 y k en los enteros, 2. estacionario en distribución si F zt1 , zt2 F zt1 k , zt2 k , ztn F zt1k , estacionario de n -ésimo orden si F zt1 , , y , ztn k , Para cualquier n -úpla t1 , , tn y k en los enteros. 3. Un proceso F zt1 , n 1, 2, se , ztn F zt1k , dice , ztn k estrictamente estacionario si es valido para todo n , es decir, . También denotada por estacionariedad fuerte o completa. Observación 5—2 1. Claramente si F zt1 , , ztn F zt1k , , ztn k es valida para n m , también será verdadera para n m porque la función de distribución de orden m determina todas las funciones de distribución de orden menor. Por lo tanto, que una función de distribución de orden superior sea estacionaria, siempre determina que las funciones de distribución que sean de orden menor que ella también lo sean. 2. Es posible entender adecuadamente lo que es ser un proceso estocástico Z ,t , como un conjunto de variables aleatorias definidas sobre un espacio muestral indexadas por el tiempo. Usualmente se suprime y simplemente se escribe Z ,t como Z t o Z t , también denotamos la variable aleatoria por X o por X . El proceso estocástico es llamado proceso de valor real, si solamente asume valores en , el conjunto de los números reales, a menos que se 63 establezca lo contrario, solo trabajaremos con procesos de valor real. Definición 5—3: Función de media del proceso estocástico. Para un proceso de valor real Zt : t 0, 1, 2, , definimos la función de media del proceso como t E Zt . Definición 5—4: Función de varianza del proceso estocástico. Para un proceso de valor real Zt : t 0, 1, 2, , definimos la función de e 2 varianza del proceso t E Zt t Definición 5—5: Función de covarianza del proceso estocástico. Para un proceso de valor real Zt : t 0, 1, 2, , definimos La función de covarianza del proceso entre Z t y Z t t1, t2 E Zt1 t1 Zt2 t2 1 2 Y la función de correlación entre Z t y Z t t1 , t2 1 2 t 1 , t 2 t2 t2 1 2 Observación 5—3 1. Para un proceso estacionario estricto, la función de distribución es la misma para todo t , la función de media t es una constante, siempre que E Zt . 2. Igualmente, si E Zt entonces 2 2 para todo t , por lo tanto 1 es también una constante. 3. Además, puesto que F zt , zt F zt k , zt k para todo t1 , t2 en los 1 2 1 2 enteros y k , tenemos t1 , t2 t1 k , t2 k y t1 , t2 t1 k , t2 k tomando t1 t k y t2 t , tenemos t2 , t1 t k , t t , t k k y t1 , t2 t k , t t , t k k . 64 4. Entonces, para un proceso estrictamente estacionario, con los dos primeros momentos finitos, la covarianza y la correlación entre Z t y Zt k , depende solo de la diferencia del tiempo k . Un ejemplo trivial de estacionariedad fuerte es una secuencia de experimentos relacionados a variables aleatorias independientes e idénticamente distribuidas. Esta secuencia de variables aleatorias independientes usualmente no existe o no interesan en procesos estocásticos o series de tiempo. Sin embargo distinto de este simple caso, en el que son independientes e idénticamente distribuidas, es muy difícil o imposible actualmente, verificar la función de distribución, particularmente la distribución conjunta de una serie de tiempo observada. Entonces, en análisis de procesos estocásticos (series de tiempo), frecuentemente usamos estacionariedad más débil en términos de los momentos del proceso. Un proceso se dice de orden n -ésimo débil si todos los momentos conjuntos de orden superior a n existen y son invariantes al tiempo, por ejemplo, independientes del momento de origen. Por lo tanto, un proceso de segundo orden tendrá media y varianza constantes, y la función de covarianzas y correlación solo dependerá de la diferencia en el tiempo. Algunas veces, el sentido de estacionariedad en el sentido débil, o varianza estacionaria, son también utilizados para describir procesos de segundo orden débil. Se sigue de las definiciones que los procesos estrictamente estacionarios con los dos primeros momentos finitos también son procesos de segundo orden débil, o de covarianza estacionaria. Sin embargo, un proceso estrictamente estacionario, podria no tener momentos finitos, por lo tanto, no tendría covarianza estacionaria. Un ejemplo trivial es el proceso que consiste en una secuencia de variables aleatorias independientes e idénticamente distribuidas con distribución Cauchy. Claramente el proceso es estrictamente estacionario, pero no es débilmente estacionario, de cualquier orden, pues no existen los momentos conjuntos de ningún orden. 65 Ejemplo 5—2 Considere la siguiente secuencia en el tiempo: Zt Asen t Donde a A es una variable aleatoria con media cero y varianza uno y es una variable aleatoria con distribución uniforme en el intervalo , , independiente de A . Entonces: E Zt E A E sen t 0 E Zt Zt k E A2 sen t sen t k 1 E A2 E cos k cos 2t k 2 2 1 1 cos k E cos 2t k 2 2 2 1 1 1 cos k cos 2t k 2 d 2 2 2 1 1 sen 2t k 2 cos k 2 8 1 cos k 2 El cual depende solo de la diferencia en el tiempo k . Entonces el proceso es de varianza estacionaria Ejemplo 5—3 Sea Z t una secuencia de variables aleatorias independientes provenientes, alternadamente, de una distribución normal estándar 66 N 0,1 y dos valores 1 y 1 cada uno con probabilidad 1 , claramente, 2 E Zt 0 y E Z t2 1 para todo t . Ahora 0, E Zt , Z s 1, si t s si t s Y E Zt Z s t, s E Zt2 E Z s2 0, 1, si t s si t s De donde, el proceso es de varianza estacionaria. Sin embargo, el proceso no es estrictamente estacionario. De hecho, no es estacionario en distribución de ningún orden. Definición 5—6: Proceso estocástico gaussiano. Un proceso estocástico se dice normal o proceso Gaussiano si su función de distribución conjunta es normal. Observación 5—4 1. Puesto que una distribución normal está caracterizada por sus dos primeros momentos, la estacionariedad estricta y la estacionariedad débil son equivalentes en un proceso Gaussiano. 5.3 LAS FUNCIONES DE AUTOCOVARIANZA Y AUTOCORRELACIÓN Definición 5—7: Función de autocavarianza. Sea Zt un proceso estacionario, tenemos el valor esperado E Zt y la varianza Var Zt E Zt 2 , las cuales son constantes, y las 2 covarianzas Cov Zt , Z s , las cuales dependen solo de la diferencia del tiempo t s . Por lo tanto, en este caso, se escribe la covarianza entre Z t y Zt k como: 67 k Cov Zt , Zt k E Zt Zt k Definición 5—8: Función de autocorrelación . Sea Zt un proceso estacionario, tenemos el valor esperado E Zt y la varianza Var Zt E Zt 2 2 , las cuales son constantes, y las covarianzas Cov Zt , Z s , las cuales dependen solo de la diferencia del tiempo t s . Por lo tanto, en este caso, se escribe la autocorrelación entre Z t y Zt k como: k Cov Zt , Zt k Var Zt Var Zt k k 0 Donde notamos que Var Zt Var Zt k 0 . Como función de k , k es llamada la función de autocovarianza y k es llamada la función de Autocorrelación (FAC) en analisis de series de tiempo representaremos la covarianza y la correlacion entre Z t y Zt k , de el mismo porceso , separado solo por los desfaces de tiempo k . Es facil ver que un proceso estocástico estacionario la función de covarianza k , y la función de correlacion k cumplen con las siguientes propiedades: 1. 0 Var Zt : 0 1 2. k 0 : k 1 3. k k y k k para todo k , por ejemplo, k y k son funciones simetricas, por lo tanto simetricas alrededor del origen, k 0 . Se sigue, de hecho que la diferencia del tiempo entre Z t y Zt k y Z t y Zt k es la misma. Por lo tanto, la función es graficada solo para valores no negativos como se muestra en la ilustración 1. esta grafica es frecuentemente llamada correlograma. 68 5.4 FUNCION DE AUTOCORRELACIÓN PARCIAL Definición 5—9: Función de autocorrelación parcial kk . A la correlacion entre Z t y Zt k , después de que su dependencia lineal en el rango de intervalo de las variables Zt 1 , Zt 2, , y Zt k 1 se ha suprimido, esta es la siguiente correlacion condicional: kk Corr Zt , Zt k | Zt 1 , , Zt k 1 Usando la regla de cramer para k 1, 2, , tenemos que: 11 1 1 1 2 1 1 1 1 22 33 1 1 1 1 2 1 1 2 kk 1 1 1 k 1 1 k 2 1 1 k 1 1 1 1 1 1 1 1 1 2 3 2 1 2 2 k 2 k 3 1 2 1 k 3 2 2 1 k 2 k 3 k k 1 k 2 k 2 k 3 1 1 69 5.5 PROCESOS CON RUIDO BLANCO a2 k 0 k 0 k 0 5.6 CADENAS DE MARKOV EN TIEMPO DISCRETO Como se dijo un proceso estocástico X X t , t T es una colección de variables aleatorias, es decir para cada t perteneciente al conjunto de valores T, X t es una variable aleatoria. Interpretamos a menudo t como un tiempo y llamamos a X t el estado del proceso en un tiempo t. Si el conjunto de valores T es contable (discreto), entonces X es un proceso estocástico discreto, mientras que si T consta de un continuo de posibles valores, entonces X es un proceso estocástico continuo. Definición 5—10: Proceso estocástico discreto. Consideraremos un proceso estocástico discreto X n , n 0,1, 2,3 que toma un finito o contable número de posibles valores. Observación 5—5 1. A menos que se mencionara de otra manera, el conjunto de los posibles valores pude ser denotado como el conjunto de enteros no negativos 0,1, 2 . 2. Si X n i entonces se dice que el proceso se encuentra en el estado i en el tiempo n. Definición 5—11: Cadena de Markov. Cuando siempre que el proceso este en un estado i, hay una probabilidad fija Pi , j que el siguiente estado pase al estado j, es decir P X n1 j X n i, X n1 in1 , i0 , , X 0 i0 Pi , j , para todos los estados in1 , i, j y todo los n 0 . Tal proceso estocástico es conocido como la cadena de Markov. Observación 5—6 70 1. La distribución condicional de cualquier estado futuro X n1 , dados los pasados estados X 0 , X1 , , X n1 y el presente estado xn , es independiente de los pasados estados y depende solamente del presente estado. Es decir, determinado el presente estado, el pasado y el futuro estado de una cadena de Harkov son independientes. 2. El valor de Pi , j representa la probabilidad de que el proceso, estando en un estado i, haga una transición a un estado j. Como las probabilidades no son negativas y el proceso debe hacer una transición en algunos estados Pi , j 0 Pi , j 1 j 3. La letra P denota la matriz de probabilidades de transición en cada paso Pi , j P0,0 P1,0 P Pi ,0 P0,1 P0, j P1,1 P1, j Pi ,1 Pi , j Ejemplo1.1.1 Considere un sistema de comunicación que transmite los dígitos o y 1. Cada digito transmitido debe pasar a través de algunas etapas, en cada una de las cuales hay una probabilidad p que el digito puesto no cambiara cuando parta. La letra X n denota que el digito entrado es la nva etapa, entonces ¨ X n , n 0 es una cadena de Harkov de dos estados teniendo una matriz de probabilidad de transición p 1 p P p 1 p Ejemplo1.1.2 Suponga que si llueve hoy depende de las condiciones climáticas de los dos últimos días. Específicamente, suponga que si ha llovido durante los dos últimos días, entonces mañana lloverá con 0.7 de probabilidad; si 71 llovió hoy pero no ayer, entonces mañana lloverá con 0.5 de probabilidad; si llovió ayer pero no hoy, entonces mañana lloverá con 0.4 de probabilidad; si no ha llovido en los dos últimos días, entonces mañana lloverá con 0.2 de probabilidad. Si dejamos que el estado del tiempo n dependa de si llueve en el día n, entonces el precedente no sería una cadena de Markov (¿Por Qué no?). Sin embargo, podemos transformarlo en una cadena de Markov dejando que el estado durante cualquier día dependa de las condiciones meteorológicas de ese día y los precedentes. Por ejemplo, podemos decir que el proceso está en Estado 0 Si llovió tanto hoy como ayer. Estado 1 Si llovió hoy pero no ayer. Estado 2 Si llovió ayer pero no hoy. Estado 3 Sino llovió, ni hoy ni ayer. El precedente entonces representaría una cadena de Markov de cuatro estados cuya matriz de probabilidad de transición se muestra fácilmente: 0.7 0 0.3 0 0.5 0 0.5 0 P 0 0.4 0 0.6 0 0.2 0 0.8 5.7 ECUACIONES DE CHAPMAN–KOLMOGOROV La probabilidad de transición de n pasos Pi ,nj de la cadena de Markov es definida como la probabilidad condicional, dado que la cadena esta actualmente en un estado i, que será estad j después de una adicional transición de n, es decir 72 Pi ,nj P X nm j X m i , n 0 , i , j 0 Por supuesto Pi1,j Pi , j . La ecuación de Chapman-Kolmogorov provee un método de computación para esta probabilidad de n pasos. Esta ecuación es Pi ,nj m Pi ,nk Pkm, j y son obtenidos por nada Pi ,nk Pkm, j es la probabilidad que la k 0 cadena, actualmente en el estado i , vaya al estado j después de n m transiciones por un camino que lo lleva a un estado k en la nva transición. Por lo tanto, sumar estas probabilidades durante todos los estados intermedio k produce la probabilidad de que el proceso estará en el estado j después de n m transiciones. Formalmente, tenemos Pi ,njm P ¨ X nm j X 0 i P X n m j, X n k X 0 i k 0 P X n m j X n k , X 0 i P X n k X 0 i k 0 Pkm, j Pi ,nk k 0 Si denotamos a P n como la matriz reprobabilidad de transición de n pasos Pi ,nj , entonces la ecuación de Chapman – Kolmogorov Afirma que P n m P P n m Donde el punto representa la matriz de multiplicación Hence 73 P P 2 11 P P P2 Y, por la inducción, P P n n 11 P n 1 P Pn Es decir, los n-pasos de la matriz de probabilidad de transición pueden ser obtenidos multiplicando la matriz P por si misma n veces. Ejemplo 1.2.1 Suponga, en el ejemplo 1.1.2 que llovió Tato el lunes como el martes. ¿Cual es la probabilidad de que llueva el jueves? Solución: Como la matriz de probabilidad de transición es 0.7 0 0.3 0 0.5 0 0.5 0 P 0 0.4 0 0.6 0 0.2 0 0.8 El segundo paso de la matriz de probabilidad de transición es 0.49 0.35 P 0.20 0.10 0.12 0.21 0.18 0.20 0.15 0.30 0.12 0.20 0.48 0.16 0.10 0.64 74 Porque la cadena en el estado 0 el martes, y porque lloverá el jueves si la cadena está en el estado 0 o en el estado 1 durante el día, la probabilidad deseada es 2 2 P0,0 P0,1 0.49 0.12 0.61 5.7.1 INTRODUCCIÓN 5.7.2 ECUACIONES DE CHAPMAN–KOLMOGOROV 5.7.3 CLASIFICACIÓN DE LOS ESTADOS 5.8 CADENAS DE MARKOV DE TIEMPO CONTINUO 5.8.1 INTRODUCCIÓN 5.8.2 DEFINICIÓN 5.8.3 PROCESOS DE NACIMIENTO Y MUERTE 5.8.4 FUNCIÓN DE TRANSICIÓN DE PROBABILIDAD 75 5.8.5 REVERSIBILIDAD 5.9 DISTRIBUCIÓN EXPONENCIAL Y EL PROCESO DE POISSON 5.9.1 INTRODUCCIÓN 5.9.2 DEFINICIÓN DE PROCESO DE POISSON 5.9.3 DISTRIBUCIONES DE LOS TIEMPOS ENTRE LLEGADAS Y DE ESPERAS 5.9.4 PROCESO DE POISSON NO HOMOGÉNEO 5.10 **TEORÍA DE RENOVACIÓN 5.11 EJERCICIOS 5.12 RESUMEN DEL CAPÍTULO 6 TEORÍA DE COLAS 6.1 INTRODUCCIÓN 76 6.2 ESTRUCTURA GENERAL DE UN SISTEMA DE LÍNEAS DE ESPERA 6.3 NOTACIÓN DE KENDALL 6.4 LEY DE LITTLE 6.5 TEOREMA DE BURKE 6.6 MODELO M / M /1 EN DETALLE 6.7 ***OTROS MODELOS 6.8 EJERCICIOS 6.9 RESUMEN DEL CAPÍTULO 7 TEORÍA DE INVENTARIOS 7.1 INTRODUCCIÓN 77 7.2 MODELOS DE INVENTARIOS DETERMINÍSTICOS 7.3 MODELOS DE INVENTARIOS ESTOCÁSTCOS 7.4 APLICACIONES 7.5 EJERCICIOS 7.6 RESUMEN DEL CAPÍTULO 8 TEORÍA DE JUEGOS 8.1 INTRODUCCIÓN 8.2 JUEGOS COOPERATIVOS 78 8.3 JUEGOS NO COOPERATIVOS 8.4 EQUILIBRIOS 8.5 ANÁLISIS DE CONFLICTOS 8.6 EJERCICIOS 8.7 RESUMEN DEL CAPÍTULO 9 EL FUTURO DE LA INVESTIGACIÓN OPERACIONAL ESTOCÁSTICA iv. REFERENCIAS BIBLIOGRÁFICAS v. ÍNDICE 79 80