Evaluación del sistema de vigilancia

Evaluación del
sistema de vigilancia
Objetivos de aprendizaje
● Definir los objetivos de la evaluación de un
sistema de vigilancia
● Identificar las partes interesadas en un
sistema de vigilancia
● Usar atributos cualitativos y cuantitativos
para evaluar un sistema de vigilancia
● Calcular sensibilidad y valor predictivo
Contenido
● ¿Por qué y cuándo evaluar sistemas de
vigilancia?
● Mecanismos para evaluar un sistema de
vigilancia
Evaluando un
sistema de vigilancia
Bases
¿Por qué evaluar un sistema de
vigilancia?
● Nuevo sistema

¿El sistema funciona como fue visualizado?
● Sistema establecido



¿El sistema funciona bien?
¿El sistema es aún relevante?
¿Ha cambiando el contexto epidemiológico?
¿Cuándo conducir una
evaluación?
● Proceso continuo

En momentos críticos

A intervalos regulares

Cada vez que el dato es analizado
Definir los objetivos de
evaluación
● Se basan en el cuándo y por qué se realiza una
evaluación
● Ejemplos de objetivos para un sistema nuevo



¿La definición de caso para vigilancia es adecuada?
¿Captura casos a partir de la población?
¿Es aceptable para los usuarios?
● Sistema establecido



¿Cumple los objetivos del sistema?
¿Está siendo usada la información?
¿Son los métodos efectivos?
Evaluación del
sistema de vigilancia
Partes interesadas
Partes interesadas del sistema
de vigilancia
● Las partes interesadas aseguran
que la evaluación trate preguntas
apropiadas y que los hallazgos
sean útiles





Profesionales de salud pública
Proveedores de servicios de salud
Representantes de las comunidades
Gobiernos locales, departamentales
y regionales
Organizaciones no lucrativas
Pregunta
¿Cómo pueden las características de una
enfermedad determinar las partes
interesadas del sistema de vigilancia?
Evaluación del
sistema de vigilancia
Evidencia
Evidencias del análisis de datos
● Calcular medidas de ocurrencia
de enfermedad
● Generar hipótesis sobre las
causas y ocurrencia de las
enfermedades
Ocurrencia de la enfermedad
● ¿El sistema detecta cambios anticipados en la
ocurrencia de problemas de salud, como cuando se
implementan intervenciones o cuándo se acaban los
fondos?
● ¿Se detectan epidemias por el sistema o a través
de reportes de los medios?
● ¿El sistema provee cálculos de morbilidad y
mortalidad de un problema de salud en poblaciones
específicas de importancia?
Generación de hipótesis
● ¿El sistema estimula la investigación
epidemiológica dirigida al control o
prevención?
● ¿Identifica factores de riesgo?
● ¿Permite evaluar los efectos de las
medidas de control?
● ¿Impulsa el mejoramiento de la práctica
clínica, social, política o ambiental?
Ejemplo de medidas de control:
Control de Tripanosomiasis en la
República Democrática del Congo
Evaluación de sistemas
de vigilancia
Calidad de los datos
recolectados
Calidad de los datos
● Integridad y validez de los datos


Examinar respuestas en blanco
Comparar los valores registrados con los valores
“verdaderos”
● La calidad es influenciada por:




Desempeño de tamizajes y pruebas diagnósticas
Claridad de los formatos
Calidad del entrenamiento
Administración de los datos
Ejemplo de calidad de los datos:
Sistema Nacional de Vigilancia de
Enfermedades de Notificación de
Taiwán
● Objetivo del sistema de vigilancia

Monitorear la efectividad de un programa de vacunación
masiva
● Evaluación

Reportes de varicela al sistemas de vigilancia comparados
con reclamos de seguros nacionales de salud
● Resultados:



4,4% capturados en 2000
5,8% en 2001
8,3% en 2002
Temporalidad
● Tasa de respuesta

Reporte de casos
● Presentación de indicadores


Registro de datos
Pruebas de muestras
¿Qué otras preguntas sobre temporalidad sería
apropiado evaluar?
Sensibilidad
● Capacidad de detectar la enfermedad en una
población
● Capacidad de detectar epidemias
● Es afectada por:




Comportamientos en la búsqueda de atención en
salud
Reporte de casos
Necesidades de investigación
Diagnósticos correctos
¿Qué otras preguntas sobre sensibilidad será
apropiado evaluar?
Vigilancia de la PFA
Hospitales
Clinicas
Comunidad
Investigacion
PFA No- Polio
Polio PFA
PFA No- Polio TASA 1/100,000 <15 años
Sensibilidad
Enferm
Positiva
Enferm
Negativa
Sensibilidad = A / (A + C)
Detectada
A
B
Total
Detectadas
No
Detectada
C
D
Total No
Detectadas
Total
con
Enferm
Total sin
Enferm
A = Verdadero positivo
B = Falso positivo
C = Falso negativo
D = Verdadero negativo
Detectado por el sistema
Sensibilidad
Realidad
Enferm
Positiva
Enferm
Negativa
Sensibilidad = A / (A + C)
Det
A
B
Total
Detectadas
No
Det
C
D
Total No
Detectadas
Total
con
Enferm
Total sin
Enferm
A = Verdadero positivo
B = Falso positivo
C = Falso negativo
D = Verdadero negativo
Un atributo difícil de evaluar ¿por qué?
Un atributo difícil de evaluar
¿por qué?
● Busca comparar


Lo que detecta sistema versus realidad
Esta muchas veces no se conoce
● La opción

Hacer uso de herramientas ya existentes


Otros métodos diagnósticos no usados por el
sistema
Sistemas paralelos, como los servicios de salud
privados, agencias de seguros, registros policíacos
(violencia, lesiones)
Un atributo difícil de evaluar
¿por qué?
● La más confiable de las herramientas para
conocer “la realidad”


Encuestas de base poblacional
Encuestas serológicas
● Datos de vigilancia activa (si es parte
independiente del sistema)
● Chile

Vigilancia activa con métodos diagnósticos
diferentes es la forma puntual de evaluar
sistemas de vigilancia pasiva
Valor predictivo positivo
● Proporción de personas identificadas como
casos que en realidad tienen la condición
vigilada
● Efecto en los recursos usados:


Investigación de casos individuales
Detección de epidemias
● Tiene la misma dificultad que la sensibilidad
● Necesitamos conocer la realidad
¿Qué preguntas podría hacer para aprender
sobre el valor predictivo positivo de un
sistema de vigilancia?
Valor predictivo positivo
Enferm
Positiva
Enferm
Negativa
PPV = A / (A + B)
Detectada
A
B
Total
Detectada
No
Detectada
C
D
Total no
Detectada
Total
con
enferm
Total sin
enferm
A = Verdadero positivo
B = Falso positivo
C = Falso negativo
D = Verdadero negativo
Confirmación de casos de cólera
100 casos de diarrea
Aplicar la definición de caso
de cólera
Cumple
No cumple
Aplicar la prueba de
referencia o criterio
estándar
Positivo
“Verdadero positivo”
Negativo
Sesgos en vigilancia
Población bajo vigilancia
Sesgo de
determinación de
casos
Pacientes-caso
No casos
Reportado
No reportado
Reportado
No reportado
(verdadero positivo) (falso negativo) (falso positivo) (verdadero negativo)
Sesgo de
información
(datos sobre el
Presente Presente Ausente Presente Presente Ausente
caso)
(correcto) (incorrecto)
(correcto) (incorrecto)
Sesgo de determinación de
casos
Detección:
● Enfermedad leve o asintomática es más comúnmente
detectada en personas con vigilancia médica
frecuente

Pacientes siendo tratados por condiciones crónicas
(diabetes) pueden ser diagnosticados más fácilmente con
infecciones leves.
Rechazo (sesgo de no respuesta):
● Sesgo derivado de pacientes que rehúsan participar
● No respuesta o rechazo puede diferir de los que
responden a exposiciones importantes
Sesgo de información
● Examen físico, hallazgos de laboratorio o
memoria de exposiciones pasadas

Reporte de ataques previos del corazón


Diagnóstico de cáncer ovárico


Autoreporte = 30% falsos positivos
CA125 elevado en mujeres premenopáusicas no
enfermas
Circuncisión


84 hombres circuncidados (37 reportes correctos)
108 no circuncidados (89 reportes correctos)
Resumen
● Sistemas de Vigilancia pueden ser evaluados para
determinar si se cumplieron las metas para las
cuales fueron creados.
● Evaluación de un sistema de vigilancia

Es un proceso continuo

Involucra identificación y reclutamiento de partes
interesadas

Puede ser conducido simultáneamente cuando se analizan
los datos del sistema
● Sesgos tales como de búsqueda y clasificación de
casos pueden afectar la validez de los datos
recogidos en el sistema de vigilancia
Recursos y lecturas
● Updated Guidelines for Evaluating Public Health Surveillance Systems.
MMWR July 27, 2001 / 50(RR13);1-35.
http://www.cdc.gov/mmwr/preview/mmwrhtml/rr5013a1.htm
● Tan HF, Chang CK, Tseng HF, Lin W. Evaluation of the National
Notifiable Disease Surveillance System in Taiwan: an example of
varicella reporting. Vaccine. 2007 Mar 30;25(14):2630-3. Epub 2006
Dec 26.
● Oliveira SAd, Camacho LAB, Pereira ACdM, Setúbal S, Nogueira RMR,
Siqueira MM. Assessment of the performance of a definition of a
suspected measles case: implications for measles surveillance. Rev
Panam Salud Publica. 2006;19(4):229-235.
http://journal.paho.org/?a_ID=388
● P. Lutumba et al. Trypanosomiasis Control, Democratic Republic of
Congo, 1993–2003. 2005 Feb [cited 2007 May 12]. Available from
http://www.cdc.gov/NCIDOD/eid/vol11no09/pdfs/04-1020.pdf