Validación extrínseca de los Indicadores de Seguridad de

originales
Validación extrínseca de los Indicadores de
Seguridad de Pacientes de la Agency for
Healthcare Research and Quality
del Río Mata J.,
Conejo Gómez C. y
Martínez Reina A.
Servicio de Documentación Clínica. Hospital Virgen de la
Victoria de Málaga. Servicio Andaluz de Salud. Consejería
de Salud. Junta de Andalucía.
Correspondencia:
José del Río Mata
Servicio de Documentación Clínica.
Hospital Virgen de la Victoria
Campos de Teatinos s/n. 29010 Málaga.
Teléfono: 951032283
jose.rio.sspa@juntadeandalucia.es
RESUMEN
Objetivo
El objetivo del presente trabajo es analizar la
validez extrínseca de los Indicadores de Seguridad de Pacientes de la Agency for Healthcare
Research and Quality entendiendo por validez
extrínseca la derivada de fenómenos ajenos al
diseño y estructura del indicador, centrándonos especialmente en la selección y codificación de diagnósticos.
Material y métodos
Se ha realizado un estudio retrospectivo de
análisis de casos de los Indicadores de Seguridad de Pacientes correspondientes a las altas
del Hospital Virgen de la Victoria de Málaga
del período 2002-2006. Sobre los indicadores
con valor predictivo positivo inferior al 90%
se ha realizado una intervención de mejora,
dirigida a los responsables de la codificación
de diagnósticos, consistente en formación y
análisis de errores. La comprobación de resultados postintervención se realizó sobre las
altas del año 2007.
papeles médicos 2009; VOL. 18 Núm. 2
Resultados
En el análisis inicial el valor predictivo positivo para el conjunto del período estudiado y el
total de Indicadores de Seguridad de Pacientes
ha sido 95,11%, Sólo cuatro indicadores no alcanzaron un valor predictivo positivo superior
al 90%. Sobre estos indicadores se realizó la
intervención de mejora definida, alcanzando
tres de ellos 100% de valor predictivo positivo
en la revisión postintervención y superando el
indicador restante el valor de 90%.
Conclusiones
Los resultados para cada indicador han sido
robustos dada su estabilidad a lo largo del
tiempo. Los resultados globales han sido satisfactorios para el conjunto de indicadores en
el análisis inicial y para cada uno de ellos en
el análisis postintervención. Estamos en condiciones de afirmar que cuando identificamos
un efecto adverso el mismo realmente se ha
producido con casi toda seguridad.
Palabras clave
Seguridad de pacientes, validez de indicadores,
codificación de diagnósticos
32
originales
Extrinsic validity of the Agency for Healthcare
Research and Quality Patient Safety Indicators
Servicio de Documentación Clínica. Hospital Virgen de la
del Río Mata J.,
Conejo Gómez C. y
Martínez Reina A.
Victoria de Málaga. Servicio Andaluz de Salud. Consejería
de Salud. Junta de Andalucía.
Correspondencia:
José del Río Mata
Servicio de Documentación Clínica.
Hospital Virgen de la Victoria
Campos de Teatinos s/n. 29010 Málaga.
Teléfono: 951032283
jose.rio.sspa@juntadeandalucia.es
ABSTRACT
Objective
To analyze the extrinsic validity of the Agency
for Healthcare Research and Quality Patient
Safety Indicators. The validity aspects considered are diagnosis selection and coding not
indicator design or structure.
Materials / Methods
A case analysis retrospective study of the Patient Safety Indicators was carried out for inpatient discharges from Hospital Virgen de la
Victoria (Málaga, Spain) for the period 2002
– 2006. Indicators with a Positive Predictive
Value under 90% were selected for an improvement intervention for Diagnostic Coding
technicians including education and error
analysis. The postintervention verification of
results was carried out with the discharges
produced in 2007.
ted to the stated improvement intervention.
Three of these indicators achieved a 100% Positive Predictive Value in the postintervention
revision and the fourth one exceeded the 90%
value.
Conclusions
The results for each indicator are solid, with
stable values throughout time. The global results are satisfactory for the set of indicators in
the initial study and for each indicator in the
postintervention analysis. We can, therefore,
state that if an adverse event has been coded it
has, to a very high extent, actually occurred.
KEY WORDS
Patient safety, indicator validity, diagnostic
coding,
Results
The Positive Predictive Value for the set of Patient Safety Indicators the 2002 – 2006 period
was 95.11%. Four indicators had a Positive
Predictive Value under 90% and were submit-
papeles médicos 2009; VOL. 18 Núm. 2
33
originales
INTRODUCCIÓN
El interés por los temas relacionados con la seguridad de pacientes se ha venido incrementando día a día en los diferentes Sistemas de
Salud1-4., fundamentalmente desde la aparición del informe To err is human5 que establecía el error médico como la séptima causa de
muerte en los Estados Unidos.
La justificación de este interés es clara dada la
magnitud del problema, su repercusión asistencial y su trascendencia social y económica.
Los pacientes que sufren un evento adverso
durante su hospitalización se estiman entre el
7,5%3 y el 12,7%4, con tasas de mortalidad
de hasta un 20,8%, con un incremento medio
de la estancia hospitalaria de 8,5 días y con
unos sobrecostes estimados, en 1999, de 2.636
libras por paciente1. En nuestro país, según el
Estudio Nacional de Efectos Adversos ligados
a la hospitalización (ENEAS)6, la incidencia
de efectos adversos en los hospitales españoles
es del 9,3%, cifra que nos sitúa en el entorno
de los estudios antes mencionados.
La medición de un fenómeno como la seguridad de pacientes es difícil tanto por sus propias
características como por la tendencia de los
profesionales a no registrar efectos adversos.
Se han utilizado mayoritariamente dos estrategias para medir la ocurrencia de eventos adversos: los sistemas de notificación por parte
de los profesionales7-10 y la monitorización de
indicadores de seguridad de pacientes basados
en los sistemas de información comúnmente disponibles en los hospitales11-13. En esta
última tendencia, la Agency for Healthcare
Research and Quality (Agencia para la Investigación y la Calidad en Salud) (AHRQ), institución gubernamental de los Estados Unidos
dedica a la calidad asistencial, ha desarrollado,
entre sus grupos de indicadores, los Patient
Safety Indicators (Indicadores de Seguridad
de Pacientes) (ISP), enfocados a la medición
de complicaciones o eventos iatrogénicos, potencialmente evitables, acaecidos a pacientes
tratados en un hospital. Su primera versión
fue publicada en 2003 y en la actualidad cuenta con 20 indicadores (tabla 1).
papeles médicos 2009; VOL. 18 Núm. 2
El objetivo de nuestro trabajo es analizar la validez extrínseca de los ISP de la AHRQ en nuestro entorno, entendiendo por validez extrínseca la derivada de fenómenos ajenos al diseño y
estructura del indicador, centrándonos en los
aspectos relacionados con la selección y codificación de diagnósticos y procedimientos.
MATERIAL Y MÉTODOS
El trabajo de ha desarrollado entre marzo de
2006 y mayo de 2008 en el Hospital Virgen de
la Victoria de Málaga.
La fuente de datos empleada ha sido el Conjunto Mínimo Básico de Datos (CMBD) de
dicho centro entre los años 2002-2006. La obtención del mismo se lleva a cabo mediante la
revisión de la totalidad de la historia clínica,
tras cada alta.
Se identificaron los casos incluidos en alguno
de los ISP de la AHRQ, utilizando para ello el
software de dicha Agencia.
Se procedió a la revisión de cada uno de los
2.782 casos en los que se había identificado un
efecto adverso. Dicha revisión se efectuó sobre los registros informáticos, empleando para
ello la aplicación de Seguridad de Pacientes de
Clinos©, así como la propia del Sistema de Información del Hospital: Main@ke©. Cuando
no bastó con esta información se recurrió a la
revisión de la Historia Clínica.
De esta forma se comprobaron todos los diagnósticos y procedimientos implicados en un
efecto adverso, procediéndose a su corrección
y recodificación en los casos oportunos.
Tras esta corrección se volvieron a calcular
los ISP y a estimar el valor predictivo positivo
(VP+) para cada uno de los indicadores, entendiendo como tal la probabilidad de que un
suceso adverso identificado por el indicador
realmente haya ocurrido.
Para aquellos ISP con un VP+ inferior al 90%,
se planteó una intervención dirigida a los Técnicos de Documentación responsables de la
34
originales
codificación de los episodios clínicos, mediante la formación sobre los ISP, información sobre los errores hallados, análisis de errores de
interpretación y corrección de las anomalías
encontradas en el tesauro empleado para la
codificación.
Para medir el efecto de la intervención, se calcularon los ISP a partir del CMBD de las altas
correspondientes al año 2007. Se revisaron los
58 casos referidos a los cuatro ISP que no superaron, en el periodo 2002-2006, un 90% de
VP+, utilizando para ambos procesos la misma
metodología que en el proceso inicial.
RESULTADOS
De un total de 105.033 altas en el periodo
2002-2006, se detectaron 2.782 efectos adversos. Tras la revisión se identificaron 136 casos
que, por errores de selección o interpretación
en el proceso de codificación, habían sido catalogados como efectos adversos, cuando realmente no lo fueron, ello supone un VP+ global
para el total del periodo e ISP del 95,11%.
Los VP+ para cada ISP se encuentran en la Tabla 2. Cabe destacar que:
• En un ISP, Alteraciones fisiológicas y metabólicas postoperatorias, no se registró ningún caso en el lustro estudiado.
• En 10 indicadores se encontró un VP+ del
100%.
• Cuatro indicadores no alcanzaron un VP+
del 90%
Para estos cuatro últimos las causas de error
que cabe destacar son las siguientes:
ISP 2, Muertes en GRD de baja mortalidad:
Por lo general los falsos positivos encontrados
han sido consecuencia de información imprecisa o incompleta, en pacientes fallecidos en
las horas/días inmediatos al ingreso.
ISP 5, Cuerpo extraño dejado durante procedimiento: La práctica totalidad de los errores
se concentran en dos causas:
1. Codificación de la peritonitis química,
termino empleado en nuestro entorno para
las debidas a perforación intestinal, con el
código 998.7 “Reacción aguda a sustancia
papeles médicos 2009; VOL. 18 Núm. 2
extraña dejada de forma accidental durante
un procedimiento”. Es necesario hacer notar que siguiendo el procedimiento de codificación es a este código al que remite el alfabético con la entrada peritonitis química.
2. Codificar como “Cuerpo extraño dejado
accidentalmente durante un procedimiento” (código 998.4) la “reacción granulomatosa a cuerpo extraño”, usando como fuente
el informe de anatomía patológica, tratándose de suturas internas realizadas en intervenciones anteriores.
ISP 11, Fallo respiratorio postoperatorio. Con
frecuencia en informes de alta por procedimientos sobre tabique nasal aparece como
diagnóstico secundario Insuficiencia Respiratoria. En realidad se trata de la dificultad
respiratoria como consecuencia del defecto
del tabique y de una insuficiencia respiratoria
sensu estricto.
ISP 15, Laceración y punción accidental. Los
falsos positivos fueron debidos a errores conceptuales en el empleo de los códigos E, con
tendencia a usar las categorías E870-E876 en
cualquier complicación que ocurra durante un
procedimiento, aunque la misma no sea fruto
de accidente durante el mismo.
Tras la intervención realizada, en el año 2007
el VP+ de estos últimos cuatro ISP se situó en
un 100% para tres de ellos y superior al 90%
en el restante. Ver tabla 3.
DISCUSIÓN
El trabajo se ha centrado en un aspecto crítico
para la elaboración de los ISP: la implicación
que la selección y codificación de diagnósticos
tiene en la asignación de los ISP. Se ha comprobado la influencia del mismo sobre los resultados y por tanto de la exactitud y exahustividad del CMBD, bastante condicionada por
la fuente de datos de obtención del mismo.
Los datos obtenidos son robustos en tanto que
estables a lo largo del periodo analizado.
La intervención efectuada ha resultado fructífera ya que los cuatro ISP revisados tras la misma han superado el VP+ del 90% en 2007.
35
originales
El trabajo presenta una serie de limitaciones:
• La validación completa de los indicadores
hubiera requerido un análisis de sensibilidad de cada uno de ellos. Desde este trabajo el abordaje de dicho análisis no ha sido
posible dado que, al tratarse de sucesos con
una frecuencia esperada muy baja hubiese
implicado muestras de gran tamaño, incluso
con población completa.
• Los datos son limitados a un hospital y, por
tanto, sus conclusiones limitadas al mismo.
Consideramos que dado que los indicadores
son bastantes sensibles a la calidad del CMBD,
se debe ser bastante prudentes en su uso en
modelos de comparación entre hospitales, ya
que hospitales con mejores prácticas de registro podrían tener mayor tasas de eventos
adversos que hospitales con mala calidad de
registros. Por el contrario los ISP, resultan de
bastante utilidad en los análisis de tendencia
en un mismo entorno.
En conclusión, con el presente trabajo no mejoramos la exteriorización de los eventos adversos ligados a la asistencia no recogidos en la historia clínica, o no codificados, pero sí estamos
en condiciones de afirmar que cuando identificamos un efecto adverso, el mismo realmente
se ha producido con casi toda seguridad.
Propuestas
Se deberá promover la realización de estudios
enfocados a:
• Incrementar el ámbito de estudio a otros
entornos y fuentes de CMBD distintos.
• Validación intrínseca, aquella derivada de
la estructura y diseño del indicador
• Análisis de sensibilidad en el uso de los ISP.
• Analizar otros indicadores relacionados,
tales como los de la OCDE13.
• Evaluar la pertinencia, a partir de los estudios anteriores, de un panel de indicadores
específicos de ámbito andaluz o estatal.
REFERENCIAS
1. Vincent C, Neale G, Woshynowych M.
Adverse events in British hospitals: preliminary retrospective record review. BMJ. 2001;
322:517-9.
papeles médicos 2009; VOL. 18 Núm. 2
2. Runciman WB, Moller J. Iatrogenic injury
in Australia. Report prepared by the Australian Patient Safety Foundation for the National Health Priorities and Quality Branch of
the Department of Health and Aged Care of
the Commonwealth Government of Australia. Adelaide: Australian Patient Safety Foundation; 2001.
3. Ross Baker G, Norton PG, Flintoft V, Blais
R, Brown A, Cox J, et al. The Canadian Adverse
Events Study: the incidence of adverse events
among hospital patients in Canada. CAMJ.
2004; 170:1678-86.
4. Forster AJ, Asmis TR, Clark HD, Al Saied G,
Code CC, Caughey SC, et al. Ottawa Hospital
Patient Safety Study: incidence and timing of adverse events in patients admitted to a Canadian
teaching hospital. CMAJ. 2004;170:1235-40.
5. Kohn L, Corrigan J, Donaldson M. To err is
human. Building a safer health system. 1st ed.
Washington: National Academy Press; 2000.
6. Estudio Nacional de Efectos Adversos ligados a la hospitalización. ENEAS 2005. Ministerio de Sanidad y Consumo. [en línea] 2006
[fecha de acceso 20 de agosto de 2006]. URL
disponible en: http://www.msc.es/organizacion/sns/planCalidadSNS/home.htm.
7. Leape LL. Reporting of adverse events. N
Engl J Med. 2002; 347:1633-8.
8. Runciman WB. Lessons from the Australian
Patient Safety Foundation: setting up a national patient safety surveillance system. Is this
the right model? Qual Saf Health Care. 2002;
11:246-51.
9. Bañeres J, et al. Los sistemas de registro y notificación de efectos adversos y de incidentes:
una estrategia para aprender de los errores.
Rev Calidad Asistencial. 2005;20(4):216-22
10. Bartolomé A, et al. Seguridad del paciente
y sistemas de comunicación de incidentes. Rev
Calidad Asistencial. 2005;20(4):228-34
11. Iezzoni LI , Daley J, Heeren T, Foley SM,
Fisher ES, Duncan C et al. Identifying complications of care using administrative data. Med
Care 1994; 32: 700-15.
36
originales
12. Miller M, Elixhauser A, Zhan C, Meyer G.
Patient Safety Indicators: Using administrative data to identify potential patient safety
concerns. Health Services Research 2001; 36
(Part II):110-132
AHRQ Quality Indicators. February 2006.
Agency for Healthcare Research and Quality,
Rockville, MD. [en línea] 2006 [fecha de acceso mayo de 2006]. URL disponible en: http://
www.qualityindicators.ahrq.gov/iqi_overview.htm
13. Millar J, Soeren M, and the members of
the OECD patient safety panel. Selecting indicators for patient safety at the health system
level in the OECD countries. OECD Health
Technical Paper no. 18. [en línea] 2006 [fecha
de acceso mayo de 2006] URL disponible en
www.oecd.org/els/health/technicalpapers.
16. Patient Safety Indicators Overview. AHRQ
Quality Indicators. February 2006. Agency for
Healthcare Research and Quality, Rockville,
MD. [en línea] 2006 [fecha de acceso mayo de
2006]. URL disponible en: http://www.qualityindicators.ahrq.gov/psi_overview.htm
14. Prevention Quality Indicators Overview.
AHRQ Quality Indicators. July 2004. Agency
for Healthcare Research and Quality, Rockville, MD. [en línea] 2006 [fecha de acceso mayo
de 2006]. URL disponible en: http://www.
qualityindicators.ahrq.gov/pqi_overview.htm
15. Inpatient Quality Indicators Overview.
17. Pediatric Quality Indicators Overview.
AHRQ Quality Indicators. February 2006.
Agency for Healthcare Research and Quality,
Rockville, MD. [en línea] 2006 [fecha de acceso mayo de 2006]. URL disponible en: http://
www.qualityindicators.ahrq.gov/pdi_overview.htm
ISP
Descripción
TABLA 1
1
Complicaciones de anestesia
Indicadores de
seguridad de pacientes
de la AHRQ
2
Muertes en GRD de baja mortalidad
3
Úlceras de decúbito
4
Fallos de rescate
5
Cuerpo extraño dejado durante procedimiento
6
Neumotórax iatrogénico
7
Determinadas infecciones debidas a cuidados médicos
8
Fracturas de cadera postoperatorias
9
Hemorragia o hematoma postoperatorios
10
Alteraciones fisiológicas y metabólicas postoperatorias
11
Fallo respiratorio postoperatorio
12
Embolismo pulmonar y trombosis venosa profunda postoperatorios
13
Sepsis postoperatoria
14
Dehiscencia de herida postoperatoria
15
Laceración y punción accidental
16
Reacción transfusional
17
Lesión o traumatismo en el nacimiento
18
Traumatismo obstétrico en parto vaginal instrumentado
19
Traumatismo obstétrico en parto vaginal no instrumentado
20
Traumatismo obstétrico en parto por cesárea
papeles médicos 2009; VOL. 18 Núm. 2
37
originales
ISP
Descripción
2002
2003
2004
2005
2006
2002-2006
1
Complicaciones de Anestesia
-
100
100
100
100
100
2
Muertes en GRD de baja mortalidad
85,71
60
83,33
75
0
70,83
3
Úlceras de decúbito
100
100
100
100
100
100
4
Fallos de rescate
97,79
97,25
97,77
96,6
94,94
96,81
5
Cuerpo extraño dejado durante
procedimiento
0
0
0
0
16,67
3,57
6
Neumotórax iatrogénico
100
94,44
100
100
100
98,88
7
Determinadas infecciones debidas a
cuidados médicos
96,67
100
97,73
95
98,41
97,44
8
Fracturas de cadera postoperatorias
100
100
100
100
100
100
9
Hemorragia o hematoma
postoperatorios
89,47
96,3
93,33
87,88
100
93,43
10
Alteraciones fisiológicas y metabólicas
postoperatorias
-
-
-
-
-
11
Fallo respiratorio postoperatorio
75
71,43
75
100
66,67
79,17
12
Embolismo pulmonar y trombosis
venosa profunda postoperatorios
100
100
100
100
100
100
13
Sepsis postoperatoria
100
100
100
100
100
100
14
Dehiscencia de herida postoperatoria
70
100
100
100
100
91,67
15
Laceración y punción accidental
88,64
85,19
80
86,21
79,03
83,28
16
Reacción transfusional
100
100
100
100
100
100
17
Lesión o traumatismo en el nacimiento
100
100
100
100
100
100
18
Traumatismo obstétrico en parto
vaginal instrumentado
100
100
100
100
100
100
19
Traumatismo obstétrico en parto
vaginal no instrumentado
100
100
100
100
100
100
20
Traumatismo obstétrico en parto por
cesárea
100
100
100
100
100
100
94,44
96,24
94,73
95,37
94,67
95,11
TABLA 2
Sombreado: Valor predictivo positivo < 90%
Valores predictivos
positivos
ISP
Descripción
2002-2006
2007
TABLA 3
2
Muertes en GRD de baja mortalidad
70,83
100
Valores predictivos
positivos tras
intervención
5
Cuerpo extraño dejado durante procedimiento
3,57
100
11
Fallo respiratorio postoperatorio
79,17
100
15
Laceración y punción accidental
83,28
90,62
papeles médicos 2009; VOL. 18 Núm. 2
38