Volumen 6 • Número 1 • 2003 VA L U E I N H E A LT H Principios de Buenas Prácticas en el Desarrollo de Modelos Analíticos para la Toma de Decisiones en las Evaluaciones de Atención en Salud: Informe del Grupo de Trabajo de ISPOR sobre Buenas Prácticas en Investigación – Estudios de modelación Autores: Milton C.Weinstein, PhD,1 Bernie O’Brien, PhD,2 John Hornberger, MD, MS,3 Joseph Jackson, PhD,4 Magnus Johannesson, PhD,5 Chris McCabe, MSc,6 Bryan R. Luce, PhD7 1 Center for Risk Analysis, Harvard School of Public Health, Boston, MA, EE.UU., y Innovus Research, Inc., Medford, MA, EE.UU; 2 Department of Clinical Epidemiology and Biostatistics, McMaster University, Hamilton, Ontario, Canadá; 3 Acumen, LLC, y Stanford University School of Medicine, Stanford, CA, EE.UU.; 4 Pharmaceutical Research Institute, Bristol-Myers Squibb, Princeton, NJ, EE.UU.; 5 Centre for Health Economics, Stockholm School of Economics, Estocolmo, Suecia; 6 Trent Institute for Health Services Research, University of Sheffield, Sheffield, Reino Unido; 7 MEDTAP International, Bethesda, MD, EE.UU. Traducción validada por: Pablo Anaya, MHA, Gerente HE&OR, GalaxoSmithKline Mexico, Mexico City, Mexico Erwin Hernando Hernandez Rincon, MD, MSc, Profesor e Investigador, Universidad de la Sabana, Bogota, Colombia La citación para este informe es: Weinstein MC, O'Brien B, Hornberger J, et al. Principles of good practice of decision analytic modeling in health care evaluation: Report of the ISPOR Task Force on Good Research Practices-Modeling Studies. Value Health 2003; 6:9-17 ABSTRACT ________________________________________________________________________________________________________________ Objetivos: los modelos matemáticos se utiliza ampliamente en la evaluación económica de fármacos y otras tecnologías sanitarias. Los usuarios de modelos en el sector público y el sector privado necesitan ser capaces de evaluar la calidad de los modelos de acuerdo a los criterios científicos de buenas prácticas. Este informe describe el consenso de un grupo de trabajo convocado para brindar a los desarrolladores de modelos las guías necesarias para realizar y reportar estudios basados en modelos. . supuestos utilizados en el modelo y aclarando que las conclusiones están supeditadas a los supuestos y datos sobre los cuales está construido el mismo. Métodos: el grupo de trabajo fue creado con el asesoramiento y el consentimiento del Consejo Directivo de ISPOR. Sus miembros fueron desarrolladores o usuarios experimentados de los modelos, que habían trabajado en los sectores académico e industrial y provenían de distintos países en América del Norte y Europa. El grupo de trabajo se reunió en tres ocasiones, intercambió correspondencia y borradores por correo electrónico y solicitó comentarios sobre tres borradores a un grupo de revisores externos, y más ampliamente, a los miembros de ISPOR. La modelación matemática se utiliza ampliamente en la evaluación económica de fármacos y otras tecnologías sanitarias. El objetivo de la modelación es estructurar la evidencia clínica y económica de tal manera que pueda ayudar a que las decisiones sobre la práctica clínica y las asignaciones de recursos en el área del cuidado de la salud sean más informadas. Resultados: los criterios para evaluar la calidad de los modelos se dividieron en tres áreas: estructura de los modelos, datos utilizados como entradas para los modelos y validación de los modelos. Muchos temas importantes abarcaron varias de estas áreas. Los modelos y sus resultados deben considerarse como herramientas de apoyo para la toma de decisiones, no como enunciados de datos científicos. Por lo tanto, no es adecuado exigir que los modelos sean validados en forma prospectiva antes de ser utilizados. No obstante, los supuestos sobre la estructura causal y estimaciones de los parámetros deben contrastarse continuamente con los datos, y adecuar los modelos consecuentemente. Los supuestos estructurales y las estimaciones de los parámetros deben informarse en forma clara y explícita, y se deben ofrecer oportunidades para que los usuarios valoren la relación condicional entre las entradas y los resultados a través de los análisis de sensibilidad. Conclusiones: las evaluaciones basadas en modelos son un recurso valioso para los tomadores de decisiones del sector salud. Es responsabilidad de los desarrolladores de los modelos llevar a cabo este tipo de estudios de acuerdo a los más altos estándares de calidad posibles, y comunicar los resultados presentando adecuadamente los Enviar la correspondencia: Milton Weinstein, Center for Risk Analysis, Harvard School of Public Health,718 Huntington Avenue, Boston, MA 02115. Correo electrónico: mcw@hsph.harvard.edu Introducción Los modelos sintetizan la evidencia sobre las consecuencias y costos para la salud provenientes de muchas fuentes diferentes, tales como datos de ensayos clínicos, estudios observacionales, bases de datos de aseguradoras, registros de casos, estadísticas de salud pública y encuestas de preferencia. Un modelo es un marco lógico- matemático que permite integrar datos y valores y que vincula estos datos con resultados de interés para los tomadores de decisiones en el sector salud. Para tomar decisiones sobre la asignación de recursos, el resultado final de un modelo a menudo es la estimación del costo por año de vida ajustado por calidad (AVAC) ganado u otra medida de rentabilidad. Si bien la evidencia proveniente de ensayos clínicos aleatorizados (RCT, por su siglas en inglés) sigue siendo fundamental para evaluar de eficacia, cuando estos resultados se analizan de forma aislada pueden resultar engañosos si no se traducen en medidas que puedan ser valoradas por los pacientes, los proveedores, las aseguradoras y el público en general. Por ejemplo, supongamos que un RCT demuestra que un tratamiento reduce el riesgo de que aparezca una rara secuela de una enfermedad crónica en un 50%, por otro lado, supongamos que otro ensayo clínico muestra que un tratamiento diferente reduce el riesgo en un 10% de una secuela distinta, pero más común esta última intervención tal vez sea más eficaz y costo-efectiva que la primera, pero una comparación simple de los resultados de los ensayos no es suficiente. No obstante, un modelo podría ser útil para revelar este hecho a los tomadores de decisiones. La comparación entre ambas intervenciones dependería de una síntesis de la evidencia sobre la incidencia de las secuelas en la población objetivo, la reducción del riesgo relativo que ofrece el tratamiento, la supervivencia y la calidad de vida con y sin secuelas, y los costos de las intervenciones y la atención médica necesaria para diagnosticar y tratar las secuelas. El valor de un modelo no sólo se encuentra en los resultados que genera, sino también en su capacidad para mostrar la relación lógica que existe entre la información de entrada al modelo (es decir, los datos y los supuestos) y los resultados, en tal forma que las consecuencias y los costos puedan ser valorados. Por este motivo, un modelo no debe ser una “caja negra” para el usuario final, sino que debe ser lo más claro posible, para que la lógica detrás de estos resultados pueda ser comprendida a un nivel intuitivo. Por este motivo, los resultados de los modelos nunca deben presentarse como estimaciones puntuales o como declaraciones absolutas sobre la eficacia o el costo. Por el contrario, los resultados de los modelos deben presentarse como consecuencia a los datos ingresados y los supuestos, y deben incluirse un análisis de sensibilidad para explorar los efectos de los datos y supuestos alternativos sobre los resultados. El objetivo de este artículo es enunciar una postura consensuada del Grupo de Trabajo de ISPOR sobre Buenas Prácticas en Investigación – Estudios de Modelación. Al igual que los modelos mismos, esta postura representa el mejor criterio del Grupo de Trabajo en este momento y está sujeta a modificaciones a medida que surjan nuevas tecnologías de modelación a través de los avances en materia de informática y análisis y, fundamentalmente, a medida que se generalicen nuevas dimensiones de las tecnologías en salud y del medio ambiente, como la genómica o resistencia microbiana a los fármacos. Proceso del Grupo de Trabajo El Presidente del Grupo de Trabajo de ISPOR sobre Buenas Prácticas en Investigación – Estudios de Modelación, Milton C. Weinstein, fue nombrado en el año 2000 por el Presidente del Comité de Ciencias de la Salud de ISPOR, Bryan R. Luce. Los miembros del Grupo de Trabajo fueron invitados a participar por el Presidente con el asesoramiento y consentimiento del Consejo Directivo de ISPOR. Se buscaron personas que tuvieran experiencia como desarrolladores o usuarios de modelos farmacoeconómicos; que fueran reconocidos por ser líderes científicos en el sector; que hubieran trabajado en los sectores académico e industrial, y también como asesores de gobiernos; y que provinieran de distintos países. También se identificó un grupo de referencia de miembros de ISPOR, a quienes se les pedirían comentarios. El Grupo de Trabajo organizó su primer encuentro en la Reunión Científica Anual de América del Norte de ISPOR en Arlington, Virginia, en mayo de 2000. El Grupo de Trabajo utilizó el correo electrónico para intercambiar bosquejos e ideas durante los meses siguientes. El Presidente preparó un primer borrador del informe y lo envió a los miembros del Grupo de Trabajo para que lo revisaran y aportaran sus comentarios. El borrador revisado se envió al grupo de referencia y, luego de recibir sus comentarios, se preparó uno nuevo. Se presentó un resumen de este borrador en una sesión plenaria de la Reunión Científica Anual de América del Norte de ISPOR en Arlington, Virginia, en mayo de 2001. Se incorporaron los comentarios del público a un nuevo borrador revisado, el cual se publicó en el sitio web de ISPOR para recibir los comentarios del público en general. El siguiente borrador se presentó en la Reunión Científica Anual de Europa de ISPOR que tuvo lugar en Cannes, Francia en noviembre de 2001, y se volvió a publicar un nuevo borrador revisado en el sitio web de ISPOR para recibir comentarios adicionales. Este informe refleja los aportes obtenidos de todas estas fuentes. Definición del concepto de modelo El Consejo Nacional de Investigación en su informe sobre los usos de modelos de microsimulación para la política social, ofreció esta definición de un modelo de simulación: “… una secuencia objetiva y replicable de cálculos utilizados para generar estimaciones de cantidades de interés. . .” [1]. Definimos un modelo de evaluación para atención en salud como una metodología analítica que da cuenta de eventos a lo largo del tiempo y entre distintas poblaciones, que se basa en los datos extraídos de fuentes primarias y/o secundarias, y cuyo propósito es estimar los efectos de una intervención sobre los costos y las consecuencias para la salud. Como parte de nuestra definición de trabajo, suponemos que los modelos de costo-efectividad están diseñados para apoyar la toma de decisiones. Esto significa que su propósito no es efectuar afirmaciones absolutas sobre las consecuencias de las intervenciones, sino revelar la relación entre los supuestos y los resultados. Estos supuestos incluyen supuestos estructurales sobre las relaciones causales entre las variables, parámetros cuantitativos tales como la incidencia y la prevalencia de una enfermedad, la eficacia y efectividad de un tratamiento, las tasas de supervivencia, los estados de salud (utilidades), las tasas de utilización y los costos unitarios, así como juicios de valor, como por ejemplo la naturaleza de las consecuencias que evalúan los tomadores de decisiones. Un buen estudio basado en un modelo presenta todos estos supuestos de manera explícita y clara, y enuncia sus conclusiones condicionadas a dichos supuestos. Evaluación del modelo Los modelos deben utilizarse solamente después de una evaluación cuidadosa, para asegurarse de que los cálculos matemáticos sean precisos y coherentes con las especificaciones del modelo (validez interna), para garantizar que sus entradas y sus resultados sean coherentes con los datos disponibles (calibración), y para garantizar que sus resultados tengan sentido y se puedan explicar a un nivel intuitivo (validez aparente). En el caso de que distintos modelos de la misma decisión lleguen a conclusiones diferentes, se espera que los desarrolladores de los modelos puedan explicar el origen de las diferencias (validación cruzada). La descripción del modelo debe ser lo suficientemente detallada como para que el modelo pueda ser replicado matemáticamente. Las evaluaciones de validez predictiva (la capacidad del modelo para realizar predicciones precisas de eventos futuros) son valiosas, pero no esenciales. Como los eventos futuros transmiten información que no está disponible al momento en que el modelo es desarrollado y calibrado, un modelo no debe ser criticado por no poder predecir el futuro. No obstante, un buen modelo debe estar diseñado para poder ser calibrado o especificado nuevamente para adaptarse a nueva evidencia a medida que esté disponible. El criterio para determinar si, y hasta qué grado, las pruebas de validez predictiva son necesarias antes del uso del modelo, depende de los beneficios en términos de mejorar el modelo para la toma de decisiones y los costos de retrasar el flujo de información mientras se obtienen datos adicionales [2]. Evaluación de la calidad de los modelos El resto de este enunciado describe el consenso del Grupo de Trabajo acerca de los atributos que definen a un buen modelo para la toma de decisiones para la atención en salud. Hemos utilizado mucha información de algunos artículos excelentes que ya han propuesto criterios para evaluar la calidad de los modelos [3–6]. Las características se organizan bajo las categorías principales de estructura, datos y validación. Estructura 1. El modelo debe estructurarse de tal manera que sus entradas y resultados sean relevantes para la perspectiva de la toma de decisiones de la evalución económica. Tanto los costos como las consecuencias para la salud deben reflejar la perspectiva de toma de decisiones elegida. Por ejemplo, si el estudio tiene la intención de ayudar a tomadores de decisiones en la asignación de recursos entre un amplio rango de intervenciones a nivel de la sociedad, entonces los resultados del modelo deben ser ampliamente aplicables, y se deben incluir los costos y las consecuencias para todos los miembros de la población afectada. Si se utiliza una perspectiva menos amplia que la social, entonces el informe debe incluir una descripción, al menos cualitativa, de las implicancias de ampliar la perspectiva a una perspectiva social. 2. La estructura del modelo debe ser consistente, tanto con una teoría coherente sobre la condición de salud que se está modelando como con la evidencia disponible sobre las relaciones causales entre las variables. Esto no significa que todas las relaciones causales deben ser comprobadas, tal como normalmente se realiza en las pruebas de hipótesis, mostrando que el tamaño del efecto es estadísticamente significativo a un nivel comúnmente aceptado de significancia (ej: P < .05). Por el contrario, significa que las relaciones incluidas no se contradicen por la evidencia disponible y que son consistentes con teorías ampliamente aceptadas. 3. Si la evidencia de los supuestos estructurales está incompleta, y no hay una teoría universalmente aceptada sobre el proceso de la enfermedad, entonces deben reconocerse las limitaciones de la evidencia que respalda la estructura elegida para el modelo. De ser posible, deben realizarse análisis de sensibilidad utilizando estructuras de modelos alternativos (por ejemplo, usando marcadores indirectos alternativos o variables intermedias). Los puntos 4 a 8 se relacionan con los modelos de estadotransición (o compartimentales, o de Markov): 4. Se pueden definir estados de salud que correspondan con el proceso de la enfermedad, estos pueden ser no observados o no observables, observados o una combinación de ambos. Por ejemplo, los modelos de estrategias de detección pueden definir estados de salud en base a una patología subyacente, a un estado clínico o ambos. No obstante, se debe tener cuidado de evitar el sesgo estructural cuando las intervenciones modifican tanto la enfermedad subyacente como la presentación clínica, como es el caso de los modelos de estrategias para detección de cáncer, en los cuales los casos de cáncer detectados pueden tener distintos pronósticos dependiendo del método o la frecuencia con las que se realicen las pruebas de detección. En general, el sesgo estructural se evita modelando los estados de la enfermedad subyacente y luego calibrando los resultados con los datos de los estados clínicos observados. 5. Cuando las tasas de transición o las probabilidades dependen de eventos o estados que pueden haber sido experimentados en períodos de tiempo previos, esta dependencia o “memoria” debe reflejarse en el modelo. Esto puede hacerse incorporando la historia clínica o de tratamiento en la definición de los estados de salud o incluyendo el historial como una covariable al momento de especificar las probabilidades de transición. 6. No deben omitirse estados por falta de datos. Algunos ejemplos pueden ser estados de salud crónicos relacionados a eventos adversos o secuelas poco comunes de una enfermedad que no se observan en ensayos clínicos. No obstante, la inclusión de un estado de salud debe basarse en evidencia coherente con la recomendación 2 descrito arriba. 7. Los motivos para incluir subdivisiones adicionales en los estados de salud pueden basarse en su importancia clínica, en su relación con la mortalidad, en su relación con la calidad de vida o preferencias del paciente, en su relación con los costos de los recursos o en cualquier combinación. Tal vez sea importante incluir en forma separada en el modelo los estados de la enfermedad que no se consideran clínicamente importantes, por estos otros motivos. Por otro lado, los estados de salud que se consideran de importancia clínica se pueden incluir para mejorar la validez aparente, aún cuando no afecten los resultados del modelo. 8. La duración del ciclo del modelo debe ser lo suficientemente corta como para que sea poco probable la existencia de cambios múltiples en la patología, los síntomas, las decisiones sobre el tratamiento o los costos dentro de un mismo ciclo. La elección de la duración de un ciclo debe estar justificada. 9. La estructura del modelo debe ser lo más simple posible, y al mismo tiempo debe tratar de capturar los procesos e intervenciones fundamentales de la enfermedad. No es necesario modelar la complejidad total de una enfermedad si la decisión puede informarse a través de una estructura más general, en términos de estados de la enfermedad o subgrupos de población. Si se hacen simplificaciones, las mismas deben estar justificadas sobre la base de que sería poco probable que afecten los resultados del análisis. A veces, un análisis de sensibilidad estructural que use un modelo menos general puede brindar mayor certeza de que las simplificaciones no afectarán los resultados. 10. Las opciones y estrategias no deben limitarse solamente a la disponibilidad de evidencia directa proveniente de los ensayos clínicos. Tampoco el rango de opciones y estrategias modeladas debe verse limitado por la práctica clínica aceptada actualmente. Debe haber un equilibrio entre el hecho de incluir un rango amplio de opciones factibles y la necesidad de que un modelo siga siendo manejable, interpretable y basado en la evidencia. 11. Si bien la estructura del modelo debe reflejar las características esenciales de la enfermedad y sus intervenciones, independientemente de la disponibilidad de datos, de cualquier forma se espera que la disponibilidad de datos afecte la estructura del modelo. Por ejemplo, si un sistema de clasificación en particular ha sido utilizado con más frecuencia en estudios clínicos, entonces los estados de salud bien pueden definirse de acuerdo con dicho sistema de clasificación, incluso si otros sistemas de clasificación funcionan mejor a la hora de predecir resultados o de diferenciar entre calidad de vida y costo. 12. No tomar en cuenta la heterogeneidad dentro de la población modelada, puede generar errores en los resultados del modelo. Cuando sea posible, las poblaciones modeladas deben separarse en subgrupos que tengan diferecias en las probabilidades de eventos, calidad de vida y costos. Esto es particularmente importante cuando las tasas de recurrencia de los eventos a lo largo del tiempo se correlacionan dentro de los subgrupos que tienen distintas tasas de eventos, de lo contrario, se pueden obtener estimaciones sesgadas de los resultados a largo plazo. 13. El horizonte temporal del modelo debe ser lo suficientemente largo como para reflejar diferencias importantes y de interés entre las consecuencias a largo plazo y el costo de otras opciones y estrategias. Para muchos modelos los horizontes temporales del total de la expectativa de vida son adecuados y casi siempre se exigen en modelos cuyas opciones tienen tasas de supervivencia con duraciones diferentes. Los horizontes más cortos pueden justificarse si la supervivencia y las secuelas crónicas a largo plazo no difieren entre las opciones o se basan en un entendimiento del proceso de la enfermedad y el efecto de las intervenciones. En cualquier caso, la falta de datos de seguimiento a largo plazo no debe utilizarse como una justificación para no ampliar el horizonte temporal, siempre y cuando sea relevante para la decisión que se está analizando. Datos Nuestras recomendaciones sobre los datos utilizados en los modelos se agrupan en tres categorías: identificación de los datos, modelación de los datos e incorporación de los datos. obtención de los datos no equivalen a los beneficios que se pierden si se actúa con la evidencia existente. Identificación de los datos 1. Un modelo no debe ser criticado porque los datos existentes no cumplen con los estándares ideales de rigor científico. Las decisiones se tomarán con o sin el modelo. Rechazar el modelo debido a que la evidencia está incompleta, significaría que una decisión sin los datos y sin el modelo es mejor que una decisión con el modelo pero sin los datos. Con el modelo, la evidencia disponible puede utilizarse de forma lógica para tomar una decisión informada; sin el modelo, se perdería una oportunidad de utilizar la evidencia disponible dentro de un marco lógico. 2. Deben realizarse revisiones sistemáticas de literatura sobre los datos de entrada al modelo. El modelo debe estar acompañado por evidencia de que dichas revisiones se han efectuado, o por una justificación de que esto no se ha hecho en base a la idoneidad y generalización de los datos ya obtenidos. 3. El rango (es decir, los límites máximo y mínimo) debe acompañar a las estimaciones del caso base de todos los parámetros de entrada para los cuales se realisen análisis de sensibilidad. La elección de los parámetros para los análisis de sensibilidad es una cuestión de criterio del analista, pero el hecho de no realizar un análisis de sensibilidad sobre un parámetro cuyo valor podría ser controvertido, deja abierta la posibilidad a cuestionar las conclusiones. 4. La especificación de las distribuciones de probabilidad para los parámetros de entrada, en base a la incertidumbre del muestreo y/o entre variaciones del estudio, puede incorporarse a un análisis de sensibilidad probabilístico formal. Sin embargo, esto no siempre es necesario ni costo efectivo. Con el fin de evaluar las distribuciones de las entradas, la metodología preferida es utilizar las distribuciones posteriores obtenidas a partir de metaanálisis formales y análisis Bayesianos, pero las consideraciones prácticas podrían conducir a la aplicación del criterio de los expertos (ver punto 7 debajo). 5. Si se excluyen fuentes de datos conocidas para la estimación de los parámetros, se debe justificar dicha exclusión. 6. Las fuentes de datos y resultados no deben rechazarse sólo porque no cumplen con la “significancia estadística” de acuerdo a los límites de probabilidad generalmente aceptados (ej.: P > .05). Toda la evidencia, aún cuando sea insuficiente para descartar la aleatoriedad como causa, puede incorporarse legítimamente a los modelos. Esto está sujeto a la condición de que la incertidumbre sobre los cálculos sea revelada y evaluada en análisis de sensibilidad y que las conclusiones sean claramente formuladas como condicionales, supeditadas a las estimaciones de las entradas utilizadas. 7. 8. La opinión de los expertos es un método legítimo para evaluar los parámetros, siempre y cuando se demuestre que alguno de estos parámetros no afecta los resultados de manera importante, o que se presente un análisis de sensibilidad sobre estos parámetros con un enunciado claro de que los resultados están supeditados a esta(s) estimación(es) subjetivas. Si se obtiene la opinión de expertos y los resultados se ven afectados por dichas opiniones, entonces el proceso de obtención de dichas opiniones debe informarse detalladamente. Se prefieren estimaciones de expertos derivados de métodos formales como técnicas de grupo nominal o Delphi. Se debe mostrar que se consideraron otras opciones razonables para obtener nuevos datos adicionales antes de desarrollar el modelo. En este contexto, “razonable” significa que el costo y el retraso inherentes a la obtención de los datos están justificados por el valor esperado de la nueva información para el análisis. Si bien existen métodos formales para evaluar el valor de la información, es suficiente con brindar un argumento heurístico sobre la razón por la cual el cuerpo de la evidencia existente era óptimo desde el punto de vista de informar las decisiones actuales. Esto a menudo puede lograrse utilizando análisis de sensibilidad, para mostrar que los intervalos razonables de datos conducirían a la obtención de hallazgos cualitativamente similares, o argumentando que el costo y el retraso en la Modelación de datos 1. La modelación de datos hace referencia a los pasos matemáticos que se siguen para transformar las observaciones empíricas en un formato que sea útil para la modelación de decisiones. Algunos ejemplos incluyen: a. El método de incorporar estimadores de los ensayos clínicos de la efectividad del tratamiento con estimadores de los resultados de referencia provenientes de datos epidemiológicos o de salud pública. Las estimaciones de efectividad pueden basarse en los datos de “intención a tratar” o “de pacientes en tratamiento”, dependiendo de los objetivos del análisis. A menudo, un enfoque adecuado es calcular las estimaciones de riesgo relativo (o razón de momios) entre las opciones de tratamiento provenientes de ensayos clínicos y superponerlas con las probabilidades de supervivencia de las estimaciones de referencia (ej: población no tratada o con tratamiento convencional) u otras variables provenientes de fuentes de estudios poblacionales. b. El método para transformar las probabilidades de intervalos provenientes de la literatura o de un ensayo clínico en una probabilidad instantánea y luego en una probabilidad de transición o probabilidad de evento, correspondiente al intervalo de tiempo utilizado en el modelo. c. El método para combinar la mortalidad específica de la enfermedad con la mortalidad general dentro del modelo. En general, es aceptable calcular las probabilidades de mortalidad general de las tablas de mortalidad nacionales, a menos que se pueda justificar el uso de una fuente alternativa. En general, no es necesario corregir el hecho de que la mortalidad general incluye a la mortalidad específica de laenfermedad dentro de la población general, a menos que la enfermedad represente una causa importante de muerte en los grupos demográficos que están siendo modelados. d. El método para modelar la supervivencia (como por ejemplo una distribución exponencial, gamma, de Weibull o de Gompertz). La elección de una forma funcional para la mortalidad específica de la enfermedad debe especificarse y justificarse. En general, la mortalidad general debe modelarse de forma no paramétrica en base a los datos de la tabla de mortalidad. e. Modelar factores de riesgo o intervenciones como si tuvieran un efecto aditivo o multiplicativo sobre las probabilidades de referencia o las tasas de incidencia de la enfermedad o mortalidad. Debe buscarse evidencia que respalde la forma aditiva o multiplicativa en estudios que examinen el efecto del factor de riesgo o la intervención en una población estratificada por riesgo base. f. El método para combinar las utilidades específicas de un campo en una función multiatributo de utilidad. Es preferible usar instrumentos de calidad de vida relacionados consalud, con sistemas de calificación previamente especificados en base a los métodos de “elección forzada” (juego estándar, equivalencia temporal). g. El método para transformar valores de los estados de salud (como las escalas de calificación o las clasificaciones de estados de salud) en factores de ponderación de la calidad de vida. h. El método para transformar cargos en costos. i. El método para ajustarse a la inflación o poder adquisitivo a lo largo del tiempo y entre los distintos países. El ajuste a la inflación debe basarse en el Índice de Precios al Consumidor (IPC), sus componentes para la atención en salud, o uno o más de sus subcomponentes, como los servicios o equipamientos de atención médica. La elección entre el IPC general y su componente de atención en salud o sus subcomponentes depende de si los recursos considerados están mejor representados por la canasta del mercado (o de productos básicos) general en el IPC o en la canasta del mercado para atención en salud. Una limitación del IPC para atención en salud es que refleja no sólo los precios sino también, hasta cierto punto, las cantidades de insumos requeridos para producir servicios para la atención en salud. El método a elegir para adaptarse a cada país es utilizar la paridad del poder adquisitivo. No obstante, una simple conversión de divisas sería adecuada si existe un mercado internacional para un insumo a un precio fijo. j. 2. 3. 4. El método para descontar los costos y los efectos en salud al valor actual. Los supuestos para la modelación de datos deben presentarse de forma transparente y estar respaldados por evidencia de su aceptación general y, preferentemente, de su validez empírica. Se deben documentar y registrar cuidadosamente las medidas principales que se han tomado para desarrollar el modelo. La credibilidad del modelo puede mejorarse mostrando cómo se concibió un modelo; por ejemplo, antes o durante la Fase III o IV de un ensayo clínico, y cómo su estructura y datos de entrada evolucionaron a medida que se obtenía evidencia nueva (por ejemplo, luego de finalizado un ensayo clínico) en respuesta a los debates subsiguientes con expertos clínicos y en materia de regulación y política. Cuando los enfoques alternativos, pero igualmente justificables, de modelación de datos pueden generar resultados notoriamente diferentes, es necesario realizar análisis de sensibilidad para evaluar las implicancias de estas alternativas. Por ejemplo, si un modelo predice beneficios menores en lo que respecta a la expectativa de vida a mayor edad, pero el modelo usa una especificación multiplicativa del efecto de una intervención sobre la mortalidad de referencia, entonces debe evaluarse la alternativa de un modelo aditivo. Si existe una evidencia empírica más fuerte que respalde una forma funcional, entonces esa forma debería ser el caso base y la(s) forma(s) alternativa(s) debería(n) evaluarse a través de un análisis de sensibilidad. Los métodos de modelación de datos generalmente deben respetar los métodos aceptados en bioestadística y epidemiología. En el caso de la modelación, el meta-análisis es un enfoque válido y deseable, siempre y cuando se tenga el cuidado de reconocer la heterogeneidad que existe entre las fuentes de datos. La heterogeneidad puede ser integrada, ya sea segregando las estimaciones basadas en grupos diferentes de los estudios primarios, o bien calculando modelos jerárquicos formales para combinar información de estudios heterogéneos. 6. Si se utiliza una simulación de cohorte, el análisis de sensibilidad se puede realizar usando una simulación probabilística (Montecarlo de segundo orden), utilizando las distribuciones de probabilidad específicas de las entradas de los parámetros. Al especificar estas distribuciones de parámetros, se debe tener cuidado de garantizar que la interdependencia entre los parámetros quede reflejada adecuadamente en la distribución conjunta de los parámetros. 7. Cuando sea apropiado, y si las diferencias en la supervivencia ajustada por calidad entre las alternativas son menores que la duración de un ciclo, se debe utilizar la corrección de medio ciclo para ajustar los cálculos relacionados con el tiempo en el modelo. Validación Nuestras recomendaciones sobre la validación de los modelos se agrupan en tres categorías: validación interna, validación entre modelos y validación externa. Validación interna 1. Los modelos deben someterse a una evaluación interna y una “depuración”. Se debe suministrar evidencia de que esto se ha hecho. Este proceso debe incluir la utilización de valores ingresados nulos o extremos para evaluar si producen los resultados esperados. También se puede incluir un examen del código del programa para detectar errores de sintaxis y evaluaciones de las repeticiones, utilizando valores de entrada equivalentes. 2. Cuando sea posible, los modelos deben calibrarse contrastándolos con los datos. La calibración es posible cuando existen datos en los resultados del modelo y las entradas del modelo, en el período de tiempo que se está modelando. Los datos de calibración pueden provenir de estadísticas nacionales de salud, como el número de muertes, hospitalizaciones, procedimientos o costos de los recursos, tanto generales como específicos por edad y sexo. Los datos de calibración deben provenir de fuentes independientes de datos utilizadas para calcular los parámetros de entrada en el modelo. Un modelo no debe ser criticado si no existen datos de calibración independientes. No obstante, un modelo está sujeto a críticas si los datos independientes aptos para la validación existen y el modelo no produce resultados consistentes con esos datos (o no se pueden explicar las discrepancias) o si el modelador no ha examinado la concordancia entre los resultados del modelo y dichos datos. 3. Si bien el código fuente por lo general debe permanecer como propiedad del modelador, se deben solicitar copias de los modelos con una interfaz de usuario adecuada, las cuales deberán estar disponibles para fines de revisión científica, bajo estrictas condiciones de seguridad y protección de los derechos de autor. Incorporación de datos 1. Las unidades de medida, los intervalos de tiempo y las características de la población deben ser mutuamente consistentes a través de todo el modelo. 2. Es aceptable la utilización de una simulación probabilística (Montecarlo, de primer orden) o determinística (de cohorte). 3. Si se utiliza una simulación de primer orden, o Montecarlo, se debe proporcionar evidencia de que el error aleatorio de simulación (es decir, la desviación estándar de los valores del resultado por ejecución) es visiblemente menor que el tamaño del efecto de interés. 4. 5. Todos los estudios de modelación deben incluir amplios análisis de sensibilidad de los parámetros clave. Se pueden utilizar análisis de sensibilidad determinísticos (univariado y multivariado) o probabilísticos. Cuando sea posible, los análisis de sensibilidad dentro de los modelos que usen simulaciones de Montecarlo deben utilizar números aleatorios generados a partir de un solo valor inicial (semilla) dentro de cada análisis de sensibilidad, para minimizar los errores en la simulación aleatoria. Validación entre modelos 1. Los modelos deben ser desarrollados independientemente entre sí, para permitir evaluaciones de corroboración entre los modelos (validez convergente). 2. Si los resultados de un modelo difieren considerablemente de resultados publicados o públicamente disponibles basados en otros modelos, el modelador debe hacer todo lo posible por explicar las discrepancias. ¿Estas discrepancias se deben a diferencias en la estructura del modelo o en los valores de entrada? 3. Los modeladores deben cooperar con otros modeladores en la comparación de resultados y en la articulación de los motivos de las discrepancias. (Reconocemos el trabajo de las agencias de financiación que apoyan este tipo de colaboración, como el programa CISNET para la modelación de cáncer, patrocinado por el Instituto Nacional deCáncer de los EE.UU.) Validación externa y predictiva. Los modelos deben estar basados en la mejor evidencia disponible al momento de su creación. En áreas como el VIH e hiperlipidemia, los primeros modelos utilizados suponían que las consecuencias para la salud estaban influidas por los factores de riesgo (recuento de células CD4, colesterol sérico). Se descubrió que datos posteriores provenientes de algunos ensayos clínicos discrepaban con las estimaciones de los modelos iniciales, mientras que otros eran consistentes con los supuestos del modelo. Los aportes de los ensayos clínicos permitieron la creación de una segunda generación de modelos, tanto para el VIH como para la hiperlipidemia, cuyas estimaciones se aproximan más a las de los ensayos clínicos. En VIH, esto se ha logrado a través de la incorporación de la resistencia a los medicamentos antirretrovirales en las estimaciones de eficacia del tratamiento y del ARN del VIH como un marcador de la virulencia de la enfermedad. En la hiperlipidemia, esto se ha logrado a través de la modelación de las fracciones de colesterol LDL y HDL como factores de riesgo. Las discrepancias restantes entre la evidencia empírica directa y los resultados del modelo aún no se han explicado. Aún se desconoce si éstas se relacionan con defectos en el diseño del ensayo clínico (ej.: selección de los pacientes, cruces en el tratamiento) o con factores biológicos subyacentes (ej.: proteína C reactiva y estatinas, recuperación inmunológica y tratamiento antirretroviral). Por lo tanto, los modelos no sólo capturan el conocimiento de la ciencia al momento en el que el modelo se construye (en un momento en el que aún puede haber datos limitados a largo plazo sobre el nuevo tratamiento), sino que además pueden ofrecer una base para contrastar e interpretar la información proveniente de nuevos estudios. La capacidad que tienen los modelos para adaptarse a la nueva evidencia y el conocimiento científico debe considerarse una fortaleza, no una debilidad del enfoque del modelado. 1. Como el objetivo de los modelos es respaldar la toma de decisiones, y como sus resultados deben informarse como supeditados a los supuestos de las entradas, no es necesario evaluar cada estimación de datos o supuesto estructural en estudios prospectivos, antes del uso del modelo. 2. La decisión de obtener datos adicionales para alimentar un modelo debe basarse en un equilibrio entre el valor esperado de la información adicional y el costo de la información. a. El “valor esperado de la información” hace referencia al concepto de la teoría de decisión, que valora la información en términos de su efecto esperado (o promedio) sobre las consecuencias de las decisiones. Por ejemplo, el valor esperado de la información sería cero para un estudio del parámetro de un modelo cuyo alcance anterior no incluya el umbral para la elección entre distintas opciones de decisión. El criterio con respecto a las probabilidades anteriores de los resultados posibles del estudio es una parte inevitable de la evaluación del “valor esperado de la información”. b. El “costo de la información” incluye el costo de los recursos para realizar un estudio o ensayo empírico, al igual que los beneficios perdidos esperados por demorar las decisiones hasta que el estudio o ensayo haya sido completado. El criterio con respecto a las probabilidades anteriores de los efectos del tratamiento es una parte inevitable de la evaluación del costo de la información. c. Las recomendaciones para la realización o diseño de investigaciones para guiar la toma de decisiones en el futuro se puede basar en un análisis formal del valor de la información o en una interpretación informal de las implicanciones de los análisis de sensibilidad. 3. Los modelos nunca deben ser considerados completos o inmodificables. Deben ser actualizados en repetidas ocasiones, y a veces deben ser abandonados y reemplazados, a medida que surge nueva evidencia para dar forma a su estructura o valores de entrada. Como corolario, los modelos que han demostrado ser contradictorios con la nueva evidencia, pero que no han sido revisados o calibrados para para incorporarla, deben ser abandonados hasta que se logre esa nueva calibración. Observaciones finales Si bien estas pautas representan los puntos de vista actuales de este Grupo de Trabajo, no deben ser consideradas rígidas o inmutables. Esto no es un “reglamento”. Diferentes circunstancias llevarán a desviaciones de estas pautas, dependiendo de los recursos disponibles para el modelador (tiempo, dinero y datos) y del objetivo del modelo. Desde nuestro punto de vista, lo más importante que se debe tener en cuenta a la hora de evaluar un modelo de evaluación de atención en salud es que los resultados no deben ser considerados afirmaciones sobre los hechos o como predicciones sobre el futuro. En cambio, su propósito es sintetizar la evidencia y los supuestos de una manera que les permita a los usuarios finales adquirir un mayor conocimiento sobre las implicanciones de esas entradas sobre las consecuencias y los costos evaluados. Sus resultados estarán siempre condicionados a sus entradas, razón por la cual es tan importante que sus entradas sean lo más transparentes y accesibles como sea posible. Otras lecturas sobre la metodología de modelado El objetivo de este informe no es brindar una descripción general de la metodología de modelado, sino identificar esos aspectos de la metodología que el Grupo de Trabajo califica como buenas prácticas de investigación. Recomendamos las siguientes fuentes para aquellos lectores que deseen familiarizarse con los conceptos básicos de los métodos de modelado. Como libro de texto introductorio sobre análisis de decisiones, incluidos los árboles de decisión y los modelos de Markov, consulte Hunink y colaboradores. [7]. Para ver métodos contemporáneos de modelado en evaluaciones económicas, incluido un panorama general de los métodos para modelar la supervivencia a partir de datos de ensayos, y un panorama general de los enfoques determinístico y estocástico del modelaje, consulte Kuntz y Weinstein [8]. Para acceder a un panorama general sobre los métodos para manejar la incertidumbre en los modelos, consulte Briggs [9] y el Capítulo 11 de Hunink y cols. [7]. Los siguientes miembros de ISPOR aportaron comentarios útiles por escrito en los borradores de este informe: Phantipa Sakthong, MS, Faculty of Pharmaceutical Sciences, Chulalongkorn University, Bangkok, Tailandia; Mendel Singer, PhD, Case Western Reserve University, Cleveland, OH, EE.UU.; y Leslie Wilson, PhD, MS, University of California at San Francisco, San Francisco, CA, EE.UU. Los autores también le agradecen a la Directora Ejecutiva de ISPOR, Marilyn Dix Smith, PhD, por el apoyo administrativo para que se organicen reuniones del Grupo de Trabajo. Referencias 1. National Research Council. Improving Information for Social Policy Decisions: The Uses of Microsimulation Modeling, Vol. 1, Review and Recommendations. Washington: National Academy Press; 1991. 2. Weinstein MC, Toy EL, Sandberg EA, et al. Modeling for health care and other policy decisions: Value Health 2001;4:348–61. 3. Sculpher M, Fenwick E, Claxton K. Assessing quality in decision analytic cost-effectiveness models: a suggested framework and example of application. Pharmacoeconomics 2000;17:461–77. 4. Hay J, Jackson J, Luce B, et al. Methodological issues in conducting pharmacoeconomic evaluations— modeling studies. Value Health 1999;2:78– 81. 5. Akehurst R, Anderson P, Brazier J, et al. Decision analytic modeling in the economic evaluation of health technologies. Pharmacoeconomics 2000;17: 443–4. 6. Gold MR, Siegel JE, Russell LB, Weinstein MC, editors. Cost-Effectiveness in Health and Medicine. Report of the Panel on Cost-Effectiveness in Health and Medicine. New York: Oxford University Press; 1996. 7. Hunink M, Glasziou P, Siegel J, et al. Decision Making in Health and Medicine: Integrating Evidence and Values. Cambridge: Cambridge University Press; 2001. 8. Kuntz K, Weinstein M. Modelling in economic evaluation. In: Drummond M, McGuire A, editors. Economic Evaluation in Health Care: Merging Theory with Practice. Oxford: Oxford University Press; 2001. 9. Briggs A. Handling uncertainty in economic valuation and presenting the results. In: Drummond M, McGuire A, editors. Economic Evaluation in Health Care: Merging Theory with Practice. Oxford: Oxford University Press; 2001.