Análisis de sensibilidad: Métodos probabilísticos en la evaluación económica de t tecnologías l í sanitarias it i Parte 2 David Epstein Dme2@york.ac.uk 1 La presentación • El AS deterministico – U Univariante/multivariante i i t / lti i t – Siempre es necesario pero no es suficiente • El AS probabilístico b bilí ti (ASP) – Para evaluar la incertidumbre global en el modelo – La importancia de valores extremos • Distribuciones de los parámetros • Las simulaciones Monte – Carlo • Curva de aceptabilidad de coste efectividad • El valor de la información 2 Desafios a una AS deterministico • Interpretacion de los resultados • Correlaciones entre los parametros del modelo • La distribuciones de los parametros del modelo d l • Varían simultáneamente de valor 2 o más parámetros del modelo 3 Análisis de sensibilidad determinísticos • El AS deterministico no cuantifica la probabilidad de valores extremos p • Valores extremos puede cambiar las conclusiones de un análisis pero pueden ser muy improbables • Un análisis de sensibilidad probabilístico puede superar esta limitación 4 Inputs p Modelo determinístico sencillo Estructura del Modelo Progresión de la enfermedad P(mala, A)= 0.30 Tratamiento A Buena 11 AVACs Buena salud =11 Mala salud = 10 Tratamiento A AVAC Cost 10.70 1000 Buena salud Valores medios Efectos clínicos Odds ratio 0,78 p Output Mala 10 0 30 0.30 Tratamiento B Tratamiento B AVAC Buena 11 Cost 10.75 2500 Buena salud Costes € A = 1000 B= 2500 Mala 10 RCEI= 0.25 1500/0.05= 30000 5 Inputs p ASP Probabilistico y multivariante Progresión de la enfermedad Estructura del Modelo Tratamiento A P (mala, A) Buena 11 Buena salud Mala 10 Efectos clínicos Ratio Odds A vs B AVACs Buena salud =11 Mala = 10 AVACs Costes A = 1000 B= 2500 Tratamiento B Buena 11 Buena salud Mala 10 p Output Tratamiento A AVAC Coste … … … … … … 10.70 1000 Tratamiento B AVAC Coste … … … … … … 10.75 2.500 6 Medio ponderado Análisis de sensibilidad probabilístico (ASP) • Objetivo – Calcular la probabilidad de que la intervención es costo-efectiva,, dado • La estructura del modelo • El WTP p por el beneficio (p (p.ej. j Por AVAC)) • La distribución de los parámetros del modelo 7 Inputs p ASP Probabilistico p Output Estructura del Modelo Progresión de la enfermedad P(mala, A)= 0.30 Tratamiento A Treatment A Buena 11 Efectos clínicos Buena salud Mala 10 AVAC C t Coste 10.70 1000 0 30 0.30 Odds ratio AVACs Buena salud =11 Mala = 10 AVACs Tratamiento B Buena 11 Buena salud Costes A = 1000 B= 2500 Mala 10 P(mala|B) Treatment B AVAC Coste 10.85 2.500 10 75 10.75 2 500 2.500 10.55 2.500 10.75 2.500 8 La familia de las distribuciones p paramétricas Distribución Inputs Descripción Normal Media, DE Simétrico Rango : -Inf a +Inf Uniforme Min, Max Rango min-max. Todos los valores tienen una probabilidad igual 9 Desviación estándar Más distribuciones paramétricas Distribución B t Beta Inputs Numero N con un evento t Numero sin un evento Log-normal g Media,, DE Gamma Descripción Util para D ibi una Rango de R d 0 Describir probabilidad a 1, no es simétrico i ét i Rango g 0a Infinito Shape, scale Rango 0 a Infinito Describir un Odds Ratio Describir los costes 10 L distribucíon La di t ib í del d l Odds Odd Ratio R ti del d l tratamiento t t i t (La angina aguda) Odds ratio 0,78, 95% CI 0,68-0,89] En función “log” Media= log(0,78) Media log(0 78) = -0.25 DE= {log(0.89) – log (0.68)}/ 4= 0.065 11 La distribución LogNormal No son simétricas 0 0.5 1 ___ Lognormal(Mean -0.25; 0 25; SE 0,065) 0 065) ____ L Lognormal(Mean l(M -0.25; 0 25 SE 0,15) 0 15) ____ Lognormal(Mean -0.25; SE 0,30) 1.5 2 2.5 1,0 Odds ratio 3 3.5 4 Bland, M. (2000) BMJ 12 320; 1468 El método de Monte Carlo • Un método de simulación • Elige una muestra aleatoria de valores para el parámetro de interés (p ej. ej 1.000 1 000 valores) – ¿Como? • Calcula el modelo para cada valor en la muestra 13 Simulación Monte-Carlo 0 0.5 1 1.5 2 2.5 3 3.5 4 0 895 0,895 • Elige un numero aleatorio l i entre 0 y 1 • En Excel, RAND() • Por ej. 0,175 17 5% del área de la • 17.5% distribución es a la derecha de 0,895 0 895 Rand Mean SE LOGINV( 1 - 0,175 ; -0,25 ; 0,15 ) = 0,895 Odds ratio Odd ti en simulación14#1 Una muestra aleatoria de valores de la distribución Rand Mean SE MC Rand OR 1 0.175 0.895 2 0.476 0.785 3 0.830 0.674 4 0 010 0.010 1 103 1.103 5 0.117 0.930 6 0.203 0.881 7 0.933 0.621 8 0.203 0.881 9 0.122 0.926 10 0.053 0.992 LOGINV( 1 - 0,053 ; -0,25 ; 0,15 ) = 0,992 Odds ratio Odd ti en simulación 15#10 Calculación del modelo para cada simulación (n (n=10) 10) WTP= MC 1 2 3 4 5 6 7 8 9 10 OR 0.895 0.785 0.674 1.103 0.930 0.881 0.621 0.881 0.926 0.992 0,87 DC 1500 1500 1500 1500 1500 1500 1500 1500 1500 1500 1500 DU 0.023 0.048 0.076 -0.021 0.015 0.026 0.090 0.026 0.016 0.002 0,03 ICER 65923 31036 19779 Dominated 100021 57940 16699 57839 94347 856055 OjO j 20000 Select A A B A A A B A A A 35000 Select A B B A A A B A A A P(B)=0,2 ( ) P(B)=0,3 ( ) 16 10 simulaciones MC Dif Costes 2000 Simulacion #10 1500 1000 Simulacion #4 Simulacion #1 500 -0.040 -0.020 0 0.000 0.020 0.040 0.060 0.080 0.100 Dif AVAC 17 10 simulaciones MC Dif Costes WTP=20000 2000 1500 1000 Probabilidad B es coste-efectivo= 500 2/10 20% 2/10=20% -0.040 -0.020 0 0.000 0.020 0.040 0.060 0.080 0.100 Dif AVAC 18 10 simulaciones MC Dif Costes WTP=35000 WTP=20000 2000 1500 1000 Probabilidad B es coste-efectivo= 500 3/10 30% 3/10=30% -0.040 -0.020 0 0.000 0.020 0.040 0.060 0.080 0.100 Dif AVAC 19 Los resultados del ASP • 10 simulaciones no es suficiente para un Monte Carlo. • La media de una muestra de 1.000 1 000 simulaciones – Diff Costes = 1.500 – Diff AVAC = 0,05 RCEI = 1.500 / 0,05 = 30.000 Probabilidad que B es el tratamiento coste-efectivo: WTP 20.000 30.000 35 000 35.000 10 simulaciones i l i 20% 20% 30% 1 000 simulaciones 1.000 i l i 16% 50% 58% 20 Curva de aceptabilidad de coste efectividad (1.000 simulaciones) Darba.(2006) Gac San. 20(1) 74-77 1 0.9 T Tratamiento i B 0.8 Prob qque el tratamiento es costeefectivo 0.7 0.6 58% 0.5 0.4 Tratamiento A 0.3 16% 0.2 0.1 0 0 10000 20000 30000 40000 50000 60000 70000 20K 30K 35K Disposición a pagar €/AVAC 21 Curva de aceptabilidad de coste efectividad (CEACc) • Las características de la curva • En E ell caso de d 2 tratamientos, i P(B) = 1-p(A) 1 (A) • En el caso de >2 tratamientos, P(A)+P(B)+P(C ) +...= 1 • Cuando WTP=0 Æ analisis de minimización de costes • Cuando WTP = Infinito Æ la curva tiende a la probabilidad b bilid d que B es más á efectivo f i • Cuando WTP=RCEI Æ la probabilidad que B es más á coste-efectivo t f ti es (aproximadamente) ( i d t ) 50% 22 Desafios a una AS deterministico • Interpretacion de los resultados • Correlaciones entre los parametros del modelo • La distribuciones de los parametros del modelo d l • Varían simultáneamente de valor 2 o más parámetros del modelo 23 Análisis de sensibilidad multivariante • En la mayoría de modelos hay muchos parámetros inciertos • Aunque los parámetros sean independientes, independientes los resultados del modelo varían en función de los demás 24 Un análisis de sensibilidad deterministico y multivariante Riesgo bajo B mucho mas efectivo f i que A B un poco mas efective f i que A OR = 0,68 OR = 0,78 RCEI = 27.000 RCEI = 40.000 RCEI = 19.000 19 000 RCEI = 30.000 30 000 P ((mala | A)) = 0,2 , Riesgo alto P (mala | A) = 0,3 25 Supone WTP = 20.000 Métodos del analisis de sensibilidad Deterministico Simple ((univariante)) Varían un parámetro, los otros son fijos j Recomendable Combinado Varían simultáneamente (multivariante) de valor dos o más parámetros del modelo Difícil en el caso de más que dos parámetros inciertos 26 Métodos del analisis de sensibilidad Simple ((univariante)) Deterministico Probabilistico Varían un parámetro, los otros son fijos j Posible, pero no recomendable en la practica p Recomendable Combinado Varían simultáneamente Para evaluar la incertidumbre (multivariante) de valor dos o más global. Recomendable parámetros del modelo Difícil en el caso de más que dos parámetros inciertos 27 Análisis de sensibilidad multivariante y probabilistico • Objetivo • Evaluar la probabilidad de que la i t intervención ió sea coste-efectiva t f ti dado: d d • La estructura del modelo • El WTP por beneficios de salud • La incertidumbre conjunta en todos los parámetros 28 ASP Multivariate Modelo Output p Estructura del Modelo Tratamiento A Inputs p Efectos clínicos Tratamiento A Buena 11 Ratio Odds A vs B P (mala, (mala A) AVACs Buena salud =11 Mala = 10 AVACs Costes A = 1000 B= 2500 Valores medios Progresión de la enfermedad Buena salud Mala 10 Tratamiento B Buena 11 Buena salud Mala 10 AVAC Coste … … … … … … 10.70 1000 vB AVAC Coste … … … … … … 10.75 2.500 29 Ejercicio • Dibuja rápidamente un ejemplo de cada di ib ió distribución – – – – Normal Lognormal Beta Uniforme • Qué distribución es la mejor representación del parámetro : la Probabilidad de mala salud en el grupo de control 30 La distribución beta • Rango de valores entre 0 y 1 • No N es simétrica i é i • Comando en Excel: Para parámetro “Pa” – Pa = BETAINV( X ; input1; input2) • Por ejemplo, si había 100 pacientes en una muestra, y 30 tuvieron i la l enfermedad f d dÆ – Input1 = numero de personas con un suceso = 30 – Input2 I 2 = numero de d personas sin i ell suceso = 70 • ÆLa media de E(Pa) = 30/100 = 0,30 31 La distribución beta 0.35 - - -Distribución Distribución beta(30;70) 03 0.3 0.25 0.2 Frequencia 0.15 0.1 ____Distribución beta(9; 21) 0.05 1 0.9 0 0.8 0 0.7 0 0.6 0 0.5 0 0.4 0 0.3 0 0.2 0 0.1 0 0 0 Prob Mala Salud 32 La incertidumbre conjunta en todos los parámetros MC Rand OR Rand PA 1 0.175 0.895 0.322 0.258 2 0 476 0.476 0 785 0.785 0 928 0.928 0 426 0.426 3 0.830 0.674 0.441 0.283 4 0.010 1.103 0.507 0.297 5 0.117 0.930 0.360 0.266 6 0.203 0.881 0.336 0.261 7 0.933 0.621 0.369 0.268 8 0.203 0.881 0.146 0.213 9 0 122 0.122 0 926 0.926 0 137 0.137 0 210 0.210 10 0.053 0.992 0.646 0.328 MC C 11,, 12,, ... 1.000 .000 OR ÅDistribución Lognormal P (A)ÅDistribución33Beta Los resultados del ASP WTP MC Diff Costs 1 2 3 4 5 6 7 8 9 10 1500 1500 1500 1500 1500 1500 1500 1500 1500 1500 Diff AVACs 0.021 0.058 0 073 0.073 -0.021 0.014 0.024 0.083 0.020 0.012 0.002 ICER 25000 Select 35000 Select 72689 25885 20588 Dominated 107830 63411 18122 73262 120237 816044 A A B A A A B A A A A B B A A A B A A A P(B) = 0,2 P(B)=0,3 34 Los resultados de un ASP multivariante WTP 10 simulaciones 1.000 simulaciones 25.000 20% 16% 30 000 30.000 30% 50% 35.000 30% 56% 35 Curva de aceptabilidad de coste efectividad - multivariante 1 0.9 0.8 Prob qque el tratamiento es costeefectivo 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 10000 20000 30000 40000 50000 60000 70000 Disposición a pagar €/AVAC 36 El valor de más información • La curva de aceptabilidad muestra la probabilidad de hacer un error cuando elegimos una estrategia (y rechazamos la otra) • Más información reduciría la probabilidad de un error y por lo tanto aumentaría el beneficio a la sociedad • ¿Cuándo será rentable buscar más información – p ej ej. financiar un nuevo ensayo clinico? • Cuando los costes del nuevo ensayo son menores que los beneficios 37 Valor de la información perfecta • El valor de la información perfecta es el valor máxima á i que ell decisor d i querría í pagar para eliminar li i toda la incertidumbre en la decisión • Puede calcular el valor de la información perfecta, dado: – – – – La estructura del modelo Las distribuciones de los parámetros del modelo El valor del WTP por un AVAC El numero de personas afectadas por la enfermedad 38 El valor de la información perfecta • Los resultados medios del modelo son ΔCostes = 1.500 y ΔAVACs son 0,05 • RCEI es 1.500 1 500 / 0,05 0 05 = 30.000 30 000 • Si el WTP es 35.000, adopta B 39 El valor de la información perfecta • Pero en 44% de las simulaciones, A fue la opción ió más á coste-efectiva. t f ti • Por ejemplo, j p en simulación #1 la diferencia en AVACs fue 0,021 y la RCEI fue , = 73.000 1.500/0,021 • La sistema hubiera perdido beneficios netos (en Euros) de 0,021 * 35.000 – 1.500 = 765 40 La calculación del valor de la información pperfecta (WTP=35.000) ( ) MC ΔCostes ΔAVAC RCEI Opción optima Valor Perdido 1 1.500 0,021 73.000 A 765 2 1 500 1.500 0 058 0,058 26 000 26.000 B 0 3 1.500 0,073 21.000 B 0 4 1.500 -0,021 Domin A 2.235 ... ... ... ... ... ... MC 11, 12, ... 1.000 μ 1.500 0,05 30.000 377 41 El valor de la información perfecta • Si el WTP = 35.000, B es la opción mas coste-efectiva • En algunas simulaciones MC (numeró 1,4 1 4 etc), etc) A es el tratamiento optimo. Hay un coste de oportunidad de elegir B en estos casos • En las demás, no hay ningún coste de la oportunidad • El Valor de la Información Perfecta calcula el coste medio d la de l oportunidad id d por la l incertidumbre i id b • El valor medio de la información perfecta por persona es 377 si el WTP por AVAC es 35 35.000 000 42 Valor de la información perfecta • Si la enfermedad afecta 1.000 personas, el valor l de d la l información i f ió perfecta f t sería í 1.000*377= 377.000 Euros • Significa que el máximo que querríamos pagar p g por p un nuevo ensayo y no supera p esto presupuesto • (El valor de la información perfecta se presenta en función de WTP) 43 Valor de la información perfecta en función de WTP 450000 400000 350000 EVPI Euros s 300000 250000 200000 150000 100000 50000 0 0 10000 20000 30000 40000 50000 60000 WTP 44 Resumen • El AS deterministico – Univariante – Siempre necesario pero no es suficiente • El AS probabilístico – – – – – Evaluar la incertidumbre global en el modelo Distribuciones de los parámetros Correlaciones entre los parámetros en el modelo Las simulaciones Monte – Carlo C r a de aceptabilidad de coste efectividad Curva efecti idad • El valor de la información 45 Ejercicio • Abrir la hoja de calculo EE.xls • Entender las formulas en color VERDE • Minimo: Hacer AS univariante (valores en color AZUL) • Merito: Hacer AS probabalistico (valores en color NARANJA)) con el metodo Monte-Carlo • Avanzada: Dibujar una curva CEAC • Supersalida: p Calcular el valor de información perfecta • Presentar sus resultados a los demás 46