Control Óptimo y Optimización Dinámica Problemas de Control Óptimo Proceso de solución consiste en encontrar los perfiles de la variable de control vs tiempo de modo que se optimice un índice particular de medida de desempeño del sistema ¾ Maximizar θ Sujeto a: ¾ L= ∫ k (x , θ ) dt + S (T ) T 0 dx = f (x , θ ) dt x(0) = x0 Métodos de Solución Convencionales • El Principio del Máximo • Programación Dinámica • Cálculo de Variación Problemas Históricos ¾ La reina Dido planteó el problema isoperimétrico: isoperimétrico Encuentre el área mayor que puede ser cubierta con un cordel de longitud fija (L) X A = ∫ y ( x) dx o L = ∫ ds = ∫ (dy ) + (dx ) 2 2 X =∫ 0 y → x1 x→t 2 dy 1 + dx dx T Maximize A = ∫ x1 (t ) dt o dx1 =u dt x1 (0) = 0 x1 (T ) = 0 T L = ∫ 1 + u 2 dt 0 dx2 = 1+ u2 dt x2 (0) = 0 x2 (T ) = L Problemas Isoperimétrico T Maximize A = ∫ x1 (t ) dt o dx1 =u dt dx2 = 1+ u2 dt x1 (0) = 0 x2 (0) = 0 x1 (T ) = 0 x2 (T ) = L Brachistochrone (Tiempo Mas Corto) Galileo Bernoulli Ingeniería Química: Problema de Destilado Máximo Maximizar Rt Sujeto a: L=∫ T 0 T dD V dt = ∫ dt 0 dt Rt + 1 dxt1 V =− dt Rt + 1 x01 = Bo = F dxt2 V ( xt2 − xD(1) ) = dt Rt + 1 xt1 Pureza promedio x = * D ∫ T 0 V dt Rt + 1 V dt Rt + 1 xD(1) ∫ T 0 x02 = xF(1) El Principio del Máximo ¾ ¾ ¾ ¾ ¾ La función objetivo se reformula en la forma lineal de Mayer Requiere la incorporación de ecuaciones diferenciales ordinarias adicionales (ecuaciones adjuntas) adjuntas que representan la dinámica de las variables adjuntas (también agregadas al problema) Se define una función Hamiltoniana (invariante en el tiempo) El perfil óptimo se obtiene derivando la función Hamiltoniana con respecto a la variable de control El sistema resultante es un problema de valores en la frontera El Principio del Máximo Forma Lineal Maximizar θ T Maximizar 0 θ L = ∫ k (x, θ ) dt dx =f dt n J = c x (T ) = ∑ ci xi (T ) T i =1 dx = f dt x(0) = x0 Hamiltoniano x(0) = x0 n H = µ f = ∑ µi f i T i =1 Ecuaciones y Variables Adjuntas dµ = −µ dt T ∂f n fx = − ∑ µ j =1 dx =f dt j j ∂xi x(0) = x0 µ (T ) = c Problem a de Destilado M á ximo: Principio del M á ximo Función objetivo es re-escrita en forma Maximizar Rt Lagrangiana L=∫ T 0 [ )] ( V 1 − λ xD* − xD(1) dt Rt + 1 Sujeto a: dxt1 V =− dt Rt + 1 x01 = Bo = F dxt2 V ( xt2 − xD(1) ) = dt Rt + 1 xt1 x02 = xF(1) Problem a de Destilado M á ximo: Principio del M á ximo V Para obtener forma [1 − λ (x − x )]dt x =∫ R +1 t 3 lineal de Mayer t 0 * D (1) D t Maximize Rt x3T Sujeto a: dxt1 V =− dt Rt + 1 x01 = Bo = F dxt2 V ( xt2 − xD(1) ) = dt Rt + 1 xt1 [ ( x02 = xF(1) dx t3 V 1 − λ x D* − x D(1 ) = dt Rt + 1 )] Hamiltoniano Problem a de Destilado M á ximo: Principio del M á ximo V (x − x ) V V [1− λ(x H = −µ +µ +µ t 1 t Ecuaciones y Variables Adjuntas ( ) ( ) 2 (1) dµt1 2 V xt − x D = µt , µT1 = 0 2 dt (Rt + 1) xt1 Rt +1 2 t 2 t (Rt +1) x 3 t Rt +1 * D − xD(1) )] Perfil óptimo µt2 2 (1) 1 * (1) µ λ − − − − + x x x x 1 ( ) ( ) D t D D x1 t t −1 Rt = 2 (1) µ ∂xD λ − t1 ∂Rt xt ∂xD(1) V 1 − 2 2 ∂xt V ∂xD(1) dµ t 2 3 2 , = − µt − =0 µ λ µ t T 1 2 (Rt + 1) xt (Rt + 1) ∂xt dt dµt3 = 0 , µT3 = 1 dt (1) D 1 t ∂H =0 ∂Rt Programación Dinámica ¾ Condición de Optimalidad: Optimalidad Aplicación del Principio de Optimalidad de Bellman da como resultado una ecuación diferencial parcial conocida como Ecuación Hamilton-Jacobi-Bellman (HJB) Maximize 0= θt 0= ∂L ∂ L dx ti + k ( x t ,θ t ) + ∑ i dt t ∂ x ∂ i t ∂L ∂L k ( x , ) f θ + + t ∑ i i t t ∂ i ∂xt Maximize θt 0= Maximize θt [L t + k + L x f ] Ecuación HJB ∂L Maximize 0= + Rt ∂t Problem a de Destilado M á ximo: Program a ción Diná mica V ∂L V ∂L * (1) x x 1 λ − − + − + 2 D D 1 R x R 1 1 + ∂ + t t t ∂xt [ ( )] V ( xt2 − xD(1) ) 1 R x 1 + t t Perfil óptimo V ∂xD(1) ∂L 1 ∂xD(1) V ∂L ∂L xt2 − xD(1) * (1) − + 0 = 1 − λ ( xD − xD ) − 1 + 2 λ ∂R − ∂x 2 x1 ∂R 1 2 ( 1 ) 1 x x x R R ∂ ∂ + + t t t t t t t t t 2 (1) x x − t D ∂L 2 ∂xt xt1 Rt = ∂L − 1 − λ (x D* − x D(1) ) + 1 ∂xt −1 ∂L 2 (1) ∂xt ∂x D − λ ∂Rt xt1 Mismo perfil que en el principio del máximo si las variables adjuntas son iguales a las derivadas de la función objetivo (L) con respecto a las variables de estado (x) Problemas Estocásticos de Control Óptimo ¾ No es posible despreciar incertidumbres en algunas aplicaciones prácticas de problemas de control óptimo: 9 9 ¾ En parámetros del modelo En condiciones iniciales El problema estocástico de control óptimo resultante puede ser analizado utilizando “Teoría de Opción Real”: Real 9 9 9 Caracterizando incertidumbres dependientes del tiempo como Procesos de Ito Usando el Lema de Ito Usando las condiciones de optimalidad de Programación Dinámica Estocástica Procesos de Ito ¾ ¾ Las variables estocásticas cambian con el tiempo en una forma incierta El denominado proceso Wiener se utiliza como base para modelar una amplia gama de procesos estocásticos más complicados. Posee 3 propiedades: 9 9 9 ¾ Satisface la propiedad de Markov Presenta incrementos independientes Sus cambios en el tiempo se distribuyen normalmente Un proceso de Ito representa el incremento de una variable estocástica en el tiempo de acuerdo con: dx = a( x, t ) dt + b( x, t )dz a y b son funciones conocidas y dz es el incremento de un proceso Wiener. Note que E[dz]=0 y E[dz2]=dt Procesos de Ito Algunos parámetros ingenieriles pueden representarse como procesos de Ito: ¾ Movimiento Browniano dx = α dt +σ dz ¾ ¾ “Mean reverting process” ( ) dx = η xavg − x dt +σ dz Movimiento Geométrico Browniano dx = α x dt +σ x dz Lema de Ito ¾ ¾ Teorema Fundamental del Cálculo Estocástico Permite derivar e integrar funciones de variables estocásticas que se comportan como procesos de Ito dx = a( x, t ) dt + b( x, t )dz 1 ∂2F ∂F ∂F 2 ( ) dF = dt + dx + dx ∂t ∂x 2 ∂x 2 ∂F ∂F 1 2 ∂2 F dF = + a( x, t ) + b ( x, t ) 2 ∂x 2 ∂x ∂t ¾ ∂F dt + b( x, t ) dz ∂x No se desprecian algunas contribuciones de segundo orden dado que E[dz2]=dt Programación Dinámica Estocástica ¾ Se ha desarrollado una extension a las condiciones de optimalidad de programación dinámica para el caso estocástico: Maximize T L = ∫0 k (x t , θ t ) dt θt Sujeto a: Condiciones de Optimalidad: Optimalidad ( ) dx ti = f i x t , θ t dt + σ i dz 0= Procesos de Ito Maximize 1 k ( x E ( dL ) t ,θt ) + θt dt Maximize ∂L σ i2 ∂ 2 L ∂2L ∂L 0= + ∑ σ iσ j i j + k ( xt , t ) + ∑ i fi ( xt , t ) + ∑ i 2 θt 2 t ∂ (∂xt ) i ≠ j ∂xt ∂xt i ∂xt i Principio del Máximo para Problemas Estocásticos ¾ ¾ ¾ ¾ Con base en las condiciones de optimalidad para programación dinámica, se pudieron derivar las expresiones correspondientes al método del principio del máximo Las variables adjuntas (µ) en el principio del máximo son equivalentes a las derivadas parciales de la función objetivo con respecto a las variables de estado (Lx) de programación dinámica El principal resultado del análisis es la derivación de las ecuaciones adjuntas Las derivadas de segundo orden de la función objetivo con especto a las variables de estado (Lxx) en programación dinámica estocástica tiene que ser también incluidas y se incorporan en la formulación a través de las variables adjuntas adicionales, ω Principio del Máximo para Problemas Estocásticos ¾ Se utiliza representación escalar aunque el análisis es válido para el caso vectorial H =µ f dx =f dt dµ = −µ fx dt x(0) = x0 µ (T ) = c σ2 H =µ f + ω 2 dx = f dt + σ dz x ( 0 ) = x0 ( ) 1 dµ σ = −µ fx − 2 dt 2 x ω ( ) dω 1 σ = − 2 ω f x − µ f xx − dt 2 Determinístico 2 xx Estocástico µ (T ) = c ω ω (T ) = 0 Versión Estocástica del Problema de Destilado Máximo Maximize Rt dD T V L=∫ dt = ∫0 dt dt Rt + 1 T 0 Sujeto a: V x ∫0 Rt + 1 dt * = T = xD V ∫0 Rt + 1 dt T xDave dxt1 V =− dt Rt + 1 (1) D Restricción externa usada como criterio de convergencia dx t2 x01 = Bo = F V ( x t2 − x D(1) ) dt + x t2 σ 2 dz 2 = 1 Rt + 1 xt Proceso Ito x 02 = x F(1) R e lativ e V o latility Volatilidad Relativa como un Proceso de Ito 3.2 3.15 3.1 3.05 3 2.95 2.9 2.85 2.8 2.75 R igorous S im ulation P ath 1 P ath 2 P ath 3 0 1 2 3 T im e (H rs) Ocasiona un comportamiento incierto en las variables de estado Principio del Máximo ( ) 2 (1) dµ 2 V xt − x D = −µ 2 dt (Rt + 1) xt1 Ecuaciones Adjuntas Perfil óptimo ( ) ∂x D(1) V 1 − 2 ∂xt 2 2 −µ − σ 2 xt ω (Rt + 1) xt1 ∂ 2 xD(1) ∂xD(1) V V 1 − 2 2 2 ∂ x ∂ x V xt2 − xD(1) dω t 2 t +µ = −2 ω − σ 2 ω − ωµ 1 1 2 dt (Rt + 1) xt (Rt + 1) xt (Rt + 1) xt1 ( ) Rt = xt1 ( − µ xt2 ∂xD(1) ∂Rt − µ xD(1) ) ( ) ( ( ) 2 2 R ( 1 ) + ∂ σ xt1 σ 2 2 xt2 ω t R V ∂ t −1 + ∂xD(1) µ ∂Rt ) Perfil Óptimo de la Razón de Reflujo ¾ ¾ Se requieren valores de reflujo más grandes debido a la disminución en el valor de la volatilidad relativa con el tiempo La desviación respecto al caso determinístico también cambia con el tiempo debido al efecto de las incertidumbres Nuevamente el Problema Isoperimétrico ¾ Considere ahora la versión estocástica del problema isoperimétrico Determinístico Movimiento Browniano Maximize x3 (T ) u dx1 =u dt x1 (0) = 0 x1 (T ) = 0 dx2 x2 (0) = 0 x2 (T ) = L = 1+ u2 dt dx3 x3 (0) = 0 = x1 dt L = 16 Estocástico dx1 = u dt + σdz x1 (0) = 0 x1 (T ) = 0 σ = 0.5 Suposición meramente académica Soluciones al Problema Isoperimétrico µ1 = −t + c1 µ 2 = c2 µ3 = 1 ω=0 u µ1 + µ2 = 0 2 1+ u Bibliografía 1. Teoría de optimización (determinística) y Aplicaciones en Ingeniería Química a) Practical Methods of Optimization; R. Fletcher, 2nd. Ed., Wiley b) Optimization of Chemical Processes; Edgar, Himmelblau and Larson, 2nd. Ed., McGraw-Hill c) Nonlinear Programming, Theory and Algorithms; Bazaraa, Sherali and Shetty, Wiley d) Systematic Methods for Chemical Process Design; Biegler, Grossmann and Westerberg, Prentice Hall e) Linear Programming; Chvatal Vasek, Ed. W. H. Freeman and Co. 2. Programación MultiObjetivo a) Introduction to Applied Optimization, Diwekar, Kluwer Academic Publishers Bibliografía 3. Programación Estocástica a) Stochastic Programming, Kall and Wallace, Wiley 4. Control óptimo a) Batch Distillation, Simulation, Optimal Design and Control; Diwekar, Ed. Taylor and Francis b) Optimal Control Theory; Sethi and Thompson, Kluwer Academic Publishers c) Investment Under Uncertainty; Dixit and Pindyck, Princeton University Press