Las Guías ISPOR-SMDM de buenas prácticas en modelación

Anuncio
Las Guías ISPOR-SMDM de
buenas prácticas en modelación
14 de septiembre de 2013
J. Jaime Caro,
MDCM, FRCPC, FACP
profesor en medicina, epidemiología y bioestadística, McGill, Montreal, Canadá
Andrew Briggs,
DPhil
Health Economics & HTA, Institute of Health & Wellbeing, University of Glasgow, UK
Karen Kuntz,
ScD
School of Public Health, University of Minneapolis, MN,
Uwe Siebert,
MD, MPH, MSc, ScD,
UMIT-University of Health Sciences, Medical Informatics and Technology, Hall i.T. and
Oncotyrol Center for Personalized Cancer Medicine , Innsbruck, Austria
1
La Comisión de Trabajo
J. Jaime Caro MDCM FRCPC FACP
Taller en la 4a Conferencia Latinoamericana
14 de septiembre, 2013
© 2013 Evidera. All Rights Reserved.
¿Por qué una nueva comisión de trabajo?

Mucho desarrollo en el campo de modelaje
– simulación individual
– simulación discreta de eventos
– simulación basada en agentes
– valor de la información

Interés creciente en
– conceptualización formal
– transparencia
– validación.
3
Miembros

Conceptualización: Mark Roberts (m) ; Murray Krahn , David Paltiel, Michael
Chambers, Phil McEwan, Louise Russell

Modelos estado-transición: Karen Kuntz(m) Uwe Siebert(m), Oguzhan
Alagoz, Doug Owens, David Cohen, Beate Jahn, Ahmed Bayoumi

Simulación de eventos discretos: James Stahl(m), Jonathan Karnon(m)
Jörgen Möller; Javier Mar, Alan Brennan

Modelos de transmisión dinámica: Richard Pitman (m), Maarten Postma,
Greg Zaric, Marc Brisson, David Fisman, Mirjam Kretzschmar, John Edmunds

Estimación de parámetros e incertidumbre: Andrew Briggs (m), Milton
Weinstein, Mark Sculpher, Elisabeth Fenwick, David Paltiel, Jonathan Karnon

Transparencia & validación: David Eddy(m), John Wong(m), Joel Tsevat,
William Hollingworth, Kathy McDonald
4
Proceso de la comisión de trabajo
Manuscritos a
las revisitas
Reunión en persona
2011
2012
Aug
Mar
Mar
Borradores a los revisores
Sep
Publicación
5
Siete Manuscritos
1. Panorama, problemas, y mejores prácticas
Modeling Good Research Practices ‐ Overview: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force‐1 2. Conceptualización
Conceptualizing a Model: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐2
3. Modelos de estado-transición
State‐Transition Modeling: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐3 4. Simulación de eventos discretos
Modeling using Discrete Event Simulation: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐4
5. Modelos de transmisión dinámica
Dynamic Transmission Modeling: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐5
6. Estimación de parámetros e incertidumbre
Model Parameter Estimation and Uncertainty: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐6
7. Transparencia y validación
Model Transparency and Validation: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐7 6
Conceptualización del modelo
Manuscrito 2
Conceptualizing a Model: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐2
7
Proceso de modelaje
Conceptualizar
Evaluar
Datos
Buscar
Nuevos
Datos
Conceptualización del modelo

Debe de
– ser suficientemente detallada para abordar el problema de forma apropiada
– tener validez aparente (de fachada o cara – “face validity”)
– Identificar incertidumbres en la estructura para análisis subsecuente.
La simplicidad es deseable porque aporta transparencia , facilita la validación y el entendimiento del modelo, pero no se debe perseguir a cambio de validez.
9
Especificar el problema

Consultar ampliamente con expertos clínicos y tomadores de decisión para
asegurar que el modelo:
– refleja la enfermedad apropiadamente
– da cobertura adecuada al problema

Producir especificaciones escritas que cubren:
–
–
–
–
–
–
–
objetivo
detalles de la enfermedad
si la perspectiva es mas estrecha que la social, hay
perspectiva analítica
que reportar cuales costos se excluyeron y porque
población a captarle
deben incluir el cuidado “normal” en uso habitual
intervenciones a comparar
resultados en salud y otros a calcular
horizonte temporal suficientemente largo para cubrir los resultados que puedan
diferir entre las intervenciones – puede llegar a ser de por vida

Asegurar que el alcance es suficiente para informar la decisión y consistente
con el contexto político/social

Especificar claramente el ámbito
patrocinio, desarrollador, audiencia, uso único o múltiple
10
Proceso formal

Se debe seguir un proceso formal para conceptualizar la estructura del
modelo: diagramas de influencias, mapas de concepto...

Diagrama de influencia
– Un bosquejo conceptual del problema
– Contiene todas las características importantes de la enfermedad
– Demuestra las relaciones entre ellas - No necesariamente causal.
11
Diagrama de influencias
Tratamiento
Sexo
Hipertensión
Infarto
Muerte
Otros Factores
SAC anterior
Edad
Proceso de modelaje
Evaluar
Datos
Conceptualizar
Ecuaciones
Buscar
Nuevos
Datos
Escoger Técnica
Implementar
Análisis
Validar
13
Técnicas de modelaje
Uwe Seibert
Manuscritos 3, 5
State‐Transition Modeling: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐3 Dynamic Transmission Modeling: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐5
14
Presented by:
Uwe Siebert, MD, MPH, MSc, ScD
UMIT & Oncotyrol Center for Personalized Cancer Medicine, Austria
Harvard School of Public Health, USA
Co‐Chair, ISPOR‐SMDM Modeling Good Research Practices Task Force
Co‐Chair, State Transition Model Working Group
Uwe Siebert, Oguzhan
Alagoz, Ahmed M. Bayoumi, Beate Jahn, Douglas K. Owens, David J. Cohen, Karen M. Kuntz



STM is an intuitive, flexible and transparent modeling approach
Widespread modeling technique for clinical situations that can be described with health states and transitions
Two forms:
 Markov cohort simulation  Individual‐based STM microsimulation
Cohort Simulation
Microsimulation
Well
Dis
Dead
1
0
0
Well
Dis
Dead
at 1 year
0.65
0.30
0.05
Well
Dis
Dead
at 2 years
0.42
0.38
0.20
Well
Die
Dead
at 3 years
0.27
0.35
0.37
Well
Dis
Dead
at x years
…
…
~0
…
Well
Dis
Dead
start
Choosing type of state transition model. If the decision problem can be represented with a manageable number of health states incorporating all characteristics that are relevant to the decision problem, including the relevant history, a cohort simulation should be chosen because of its transparency, efficiency, ease of debugging, and ability to conduct specific value of information analyses. If, however, a valid representation of any aspect of the decision problem, the disease or the intervention would lead to an unmanageable number of states, then the use of an individual‐level state‐
transition model is recommended. Validity should not be sacrificed for simplicity.



Defining states: Specification of states and transitions should generally reflect the biological/theoretical understanding of the disease
or condition being modeled.
Heterogeneity: States need to be homogeneous with respect to the observed and unobserved (i.e., not known by the decision maker) characteristics that affect transition probabilities.
Cycle length: should be short enough to represent the frequency of clinical events and interventions.


Intervention effects. Parameters relating to the intervention effectiveness derived from observational studies should be correctly controlled for confounding. Time‐varying confounding is of particular concern in estimating intervention effects.
Analyzing distributions. Depending on the decision problem, it may be important to report not only the expected value but also the distribution of the outcomes of interest.
Presenting the model. The report should communicate the key structural elements, assumptions and parameters of the state‐transition model to consumers using nontechnical language and clear figures that enhance the understanding of the model.  Presenting model results. In addition to final outcomes, intermediate outcomes should be presented that enhance the understanding and transparency of the model results.

Paper contains illustrative examples of both cohort & microsimulation
Presented by:
Uwe Siebert, MD, MPH, MSc, ScD
UMIT & Oncotyrol Center for Personalized Cancer Medicine, Austria
Harvard School of Public Health, USA
Co‐Chair, ISPOR‐SMDM Modeling Good Research Practices Task Force
On behalf of the Dynamic Transmission Model Working Group







Richard Pitman
David Fisman
Gregory S. Zaric
Maarten Postma
Mirjam Kretzschmar
John Edmunds
Marc Brisson

Dynamic transmission models (“dynamic models”) are capable of reproducing the direct and indirect effects that may arise from a communicable disease control program.
 Basic reproduction number (R0): disease’s ability to spread in a population.

A dynamic model is needed when evaluating an intervention against an infectious disease that 1) has an impact on disease transmission in the target population or 2) alters the frequency distribution of strains (e.g., genotypes or serotypes).
 Example: large‐scale HPV vaccination program

Depends on complexity of the interactions, size of the population, and role of chance.
 Can be deterministic or stochastic, population or individual‐based
 Differential‐equation models, agent‐based models 

Include time horizon and discount rate into sensitivity analyses.
Structural uncertainty analysis
 e.g., risk groups, contact patterns, mixing nature, immunity durability, strain competition.

Consideration of important epidemic thresholds is helpful when there is a possibility of the model exhibiting alternate behaviours.
 e.g., epidemic spread vs. extinction




If using differential equations, provide these equations. Tabulate all parameters, including the mixing matrix and supply details of the type of mixing considered. If using an agent‐based model, thoroughly describe the rules governing the agents, the input parameter values, initial conditions and all submodels.
Show the transmission dynamics over time (e.g., incidence and prevalence of infection and disease). When applicable, report changes in other infection‐specific outcomes such as strain replacement and the emergence of resistance.
Técnicas de modelaje
Manuscritos 4
Modeling using Discrete Event Simulation: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐4
31
¿Qué es SED?

Simulación basada en individuos
– Cada individuo tiene un set de atributos (ej. edad, sexo, duración de la
enfermedad, historia clínica, calidad de vida, etc.)
– Los atributos son actualizados cuando ocurre un evento

El modelo se estructura alrededor de los eventos que pueden ocurrir

No utiliza ciclos en el tiempo
– El tiempo transcurre hasta que ocurre un evento

Puede representar los recursos limitados
– ej. camas en cuidado intensivo.
Dos tipos

Los recursos son limitados
– Optimizar la entrega de servicios
– ej. Urgencias: cuantas camas, cuantas enfermeras? cuantas salas de
reanimación? que tan larga llega a ser la lista de espera?

No hay limitación en recursos
– No se crean listas de espera
– Puede representar riesgos que compiten
– Tiene memoria
– No hay problema con heterogeneidad.
Parámetros

Se prefiere usar ecuaciones que representan la distribución de ocurrencia
de cada evento sobre el tiempo

Cuando hay riesgos que compiten, hay que considerar si están correlados

Cuando hay parámetros continuos (ej. glicemia), se deben manejar con
eventos de actualización
– ej. escoger (de una distribución) el valor del parámetro y después escoger el
tiempo cuando se llegara a ese valor.
Estructura & Diseño

Si hay tiempos de espera en la realidad, y estos pueden afectar los
resultados en salud o costos, hay que incluir limitaciones en los recursos (y
por lo tanto listas de espera)

Si hay decisiones subsecuentes que afectan los resultados (ej. cambio de
dosis dependiendo de la respuesta inicial) hay que estructurar el modelo
para permitir análisis donde varían estas decisiones.

El diseño debe permitir la evaluación de la incertidumbre estructural

Los modelos de optimización de entrega de servicios no debe limitarse solo
a medidas de utilización, sino también incluir el impacto en la salud.
Implementación de SED

Hay que incorporar métodos que disminuyan la variación causada por los
procesos aleatorios (“variance reduction”)

SI el individuo esta expuesto a varios riesgos, hay que implementar el
modelo de forma que un evento no aísle al individuo de los otros riesgos

La implementación debe de permitir análisis de verificación y validación
externa

Para simplificar la verificación y actualización, se deben usar sub-modelos
para estructurar cada aspecto

Estructuras alternas deben ser incorporadas en una sola SED

Las hojas de calculo no son adecuadas para SED.
Análisis

Se deben simular el mínimo numero de individuos para obtener resultados
suficientemente precisos

Si hay muchas estrategias a comparar, o muchas alternativas estructurales,
se deben usar diseños factoriales o procesos para buscar la solución
optima.

el uso de meta-modelos puede facilitar los análisis de incertidumbre

Si hay que comenzar la simulación dentro de un sistema que no esta
“vacío” al comenzar, hay que emplear un periodo de “calentamiento”

Es útil usar la animación para demostrar el trascurrir del modelo y como
parte de la validación.
Estimación de parámetros e incertidumbre
Andy Briggs
Manuscrito 6
Model Parameter Estimation and Uncertainty: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐6
38
Validación de modelos
Manuscrito 7
Model Transparency and Validation: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐7 39
Trasparencia y Validacion

Poder confiar en un modelo y sus resultados es algo critico para su éxito

3 aspectos
– Transparencia: se puede ver como fue construido el modelo
– Validación: se puede ver que tanto se ajusta a la realidad
– Reporte: se pueden ver todos los supuestos, datos, etc.

Idealmente, todo se haría publico, pero:
– Muchísimos detalles
– Altamente técnicos
– Requiere conocimientos especializados
– Existe la necesidad de proteger los derechos intelectuales.
40
Validación
Externa
Verificación
de Fachada
41
Validez Aparente (de cara)
 Validez aparente es importante en cuanto a
– Conceptualización
– Fuentes de datos y su manejo
– Ecuaciones
– Selección de la técnica de modelaje

Debe de ser evaluada por
– expertos en el área
– que son imparciales
 Proceso debe ser descrito en detalle
 Si hay preguntas, hay que discutir los detalles
 No asegura validez!
42
Verificación
 Modelos deben ser sometidos a una verificación
rigurosa
– Verificar todo el código
o
Usar técnicas traídas de la informática
 Describir en el informe del modelo
– Hacer públicos los resultados de la verificación
 Limitaciones
– La verificación ayuda a establecer que el modelo esta
correctamente programado pero no asegura validez
– Es necesaria pero no suficiente.
43
Validación externa
 Proceso formal de validación externa que requiere comparar los
resultados del modelo con observaciones reales
 Especifica para cada fuente de observaciones en cuanto a si es
– dependiente (los datos que fueron usados en la construcción del
modelo)
– independiente (datos que no fueron usados)
– parcialmente dependiente
 Describe que partes del modelo son evaluadas por cada fuente
 Simula cada fuente & se comparan los resultados
 Mide que tanto se resemblan los resultados del modelo a los
observados en la realidad.
44
Ejemplo
6
Modelo
5
Registro ERL
4
3
2
1
0
0
10
20
30
40
50
60
Tiempo (meses)
45
Transparencia – informe no técnico

Describe en terminología no
técnica
– el tipo de modelo y su aplicación
– estructura del modelo
– fuentes de datos
– entradas, resultados
– proceso de validación &resultados
– limitaciones
– fuentes de financiamiento.
Cualquiera que esté
interesado
46
Transparencia – informe técnico

Suficientemente detallado para permitir que alguien con la pericia necesaria
pueda
– evaluar el modelo
– reproducirlo

Debe identificar componentes que no fueron validados

Disponible
– abiertamente, o
– bajo acuerdo que proteja la propiedad intelectual
47
Descargar