1. Diagnóstico. Pruebas diagnósticas. Prueba diagnóstica

TEST DIAGNÒSTICS. SENSIBILITAT, ESPECIFICITAT I CORBES ROC
Curs d'Estadística Bàsica per a la Recerca Biomèdica
UEB - VHIR
Ricardo Gonzalo Sanz
ricardo.gonzalo@vhir.org
17/02/2016
¿QUÉ VEREMOS?
1. Diagnóstico. Pruebas diagnósticas.
2. Sensibilidad, especificidad.
3. Valores predictivos. Prevalencia.
4. Razones de verosimilitud
5. Curva ROC.
1. Construcción
2. Interpretación
3. Comparación
¿QUÉ VEREMOS?
1. Diagnóstico. Pruebas diagnósticas.
2. Sensibilidad, especificidad.
3. Valores predictivos. Prevalencia.
4. Razones de verosimilitud
5. Curva ROC.
1. Construcción
2. Interpretación
3. Comparación
1. Diagnóstico. Pruebas diagnósticas.
Diagnóstico.
¿qué me pasa
doctor?
Foto: FOX
1. Diagnóstico. Pruebas diagnósticas.
Diagnóstico.
Mmm …déjeme que
le haga unas
pruebas y valore
¿qué me pasa
doctor?
Foto: FOX
1. Diagnóstico. Pruebas diagnósticas.
Diagnóstico.
• Resultado más importante de la práctica médica
• Clave que conduce al tratamiento y al pronóstico
Otras definiciones válidas:
• proceso de determinar la naturaleza de la condición mórbida
mediante el examen.
• cuidadoso examen de los hechos para determinar la naturaleza
de algo
• decisión u opinión resultante de tal examen o investigación.
Clasificación de los individuos en sanos o enfermos.
1. Diagnóstico. Pruebas diagnósticas.
Proceso que da lugar al diagnóstico.
1. Establecer una presunción sospecha o hipótesis de
existencia de enfermedad
2. Seguimiento de la suposición clínica y verificar si esta
corresponde a la verdad.
Incertidumbre
• Síntomas de un paciente pueden ser compatibles con más de
una enfermedad
• Variaciones biológicas de un individuo a otro
• Instrumentos son imprecisos
• Pacientes son inexactos para recordar sucesos pasados.
1. Diagnóstico. Pruebas diagnósticas.
Proceso que da lugar al diagnóstico.
Se utilizan diferentes fuentes de información:
• anamnesis del paciente
• examen físico
• resultados de las pruebas diagnósticas
PRUEBA DIAGNÓSTICA
Procedimiento mediante el cual se confirma o se descarta un diagnóstico.
1. Diagnóstico. Pruebas diagnósticas.
Prueba diagnóstica
Resultados positivos en enfermos y negativos en sanos
Condiciones a exigir a una prueba diagnóstica (I):
• Validez: grado en que una prueba mide lo que se supone que debe
medir (sensibilidad y especificidad)
• Reproducibilidad: capacidad de la prueba de ofrecer los mismos
resultados cuando se repite su aplicación en circunstancias similares
(variabilidad biológica, instrumental y técnica)
1. Diagnóstico. Pruebas diagnósticas.
Prueba diagnóstica
Condiciones a exigir a una prueba diagnóstica (II):
• Seguridad: ante un resultado positivo ¿qué probabilidad existe de
que este resultado indique presencia de la enfermedad? (valores
predictivos)
• Que sea sencilla de aplicar
• Aceptado por los pacientes o la población en general
• Mínimos efectos adversos
• Económicamente soportable
1. Diagnóstico. Pruebas diagnósticas.
Relación entre los resultados de la prueba y el auténtico diagnóstico
Auténtico diagnóstico
MÉTODO DE REFERENCIA
Ej. Biopsias, cultivos microbianos,…
MÉTODO DE REFERENCIA
¿caro?
¿traumático para el paciente?
¿lento de realizarse?
Se necesita un método (prueba diagnóstica) más accesible.
¿se comporta cómo el método de referencia?
1. Diagnóstico. Pruebas diagnósticas.
Relación entre los resultados de la prueba y el auténtico diagnóstico
En un prueba diagnóstica con posible resultados:
Positivo o Negativo :Tabla de diagnóstico (tabla de contingencia)
Valores numéricos (variable continua): curva ROC
Método de referencia
Enfermo
Sano
TOTAL
Prueba
Positivo
a
b
a+b
Diagnóstica
Negativo
c
d
c+d
TOTAL
a+c
b+d
a+b+c+d
1. Diagnóstico. Pruebas diagnósticas.
Relación entre los resultados de la prueba y el auténtico diagnóstico
Método de referencia
Enfermo
Sano
TOTAL
Positivo
a
b
a+b
Diagnóstica Negativo
c
d
c+d
a+c
b+d
a+b+c+d
Prueba
TOTAL
a = Verdaderos positivos (VP)
b = Falsos positivos (FP)
c = Falsos negativos (FN)
d = Verdaderos negativos (VN)
¿QUÉ VEREMOS?
1. Diagnóstico. Pruebas diagnósticas.
2. Sensibilidad, especificidad.
3. Valores predictivos. Prevalencia.
4. Razones de verosimilitud
5. Curva ROC.
1. Construcción
2. Interpretación
3. Comparación
2. Sensibilidad y especificidad
Sensibilidad (S): Probabilidad de obtener un resultado positivo cuando el
individuo tiene la enfermedad.
S = P(T+/Enf)
Una prueba sensible detectará a todos los pacientes que sufren la
enfermedad
Especificidad (E): Probabilidad clasificar como sanos (no enfermos) a los
que efectivamente lo son.
E = P(T-/no Enf)
Una prueba específica no clasificará como enfermas a personas que
no lo están.
2. Sensibilidad y especificidad
Estimación de la sensibilidad y la especificidad
Gold Standard
Enfermo
Sano
TOTAL
Positivo
a
b
a+b
Diagnóstica Negativo
c
d
c+d
a+c
b+d
a+b+c+d
Prueba
TOTAL
2. Sensibilidad y especificidad
Estimación de la sensibilidad y la especificidad
Gold Standard
Enfermo
Sano
TOTAL
Positivo
a
b
a+b
Diagnóstica Negativo
c
d
c+d
a+c
b+d
a+b+c+d
Prueba
TOTAL
2. Sensibilidad y especificidad
Ejemplo.
Estudio n= 2.641 pacientes con sospecha de cáncer prostático
Prueba inicial : tacto rectal
Prueba posterior: biopsia prostática (método de referencia)
Resultado de la biopsia
Cáncer
Patología benigna
TOTAL
Resultado
Anormal
634
269
903
tacto rectal
Normal
487
1251
1738
TOTAL
1121
1520
2641
Sensibilidad = 634 / (634+487) = 0.5656 = 56.6%
43.4% con cáncer tenían tacto rectal normal
Especificidad = 1251 / (269+1251) = 0.8230 = 82.3%
Hacen falta otras pruebas para refinar
el diagnóstico (Ej. PSA)
2. Sensibilidad y especificidad
Ejemplo con R Commander. Plug-in “EZR”
2. Sensibilidad y especificidad
Ejemplo con R Commander. Plug-in “EZR”
Disease positive Disease negative Total
Test positive
634
Test negative
487
Total
1121
269
1251
1520
903
1738
2641
Point estimates and 95 % CIs:
--------------------------------------------------------Estimation Lower CI Upper CI
Apparent prevalence
0.342
0.324
0.360
True prevalence
0.424
0.406
0.444
Sensitivity
0.566
0.536
0.595
Specificity
0.823
0.803
0.842
Positive predictive value
0.702
0.671
0.732
Negative predictive value
0.720
0.698
0.741
Diagnstic accuracy
0.714
0.696
0.731
Likelihood ratio of a positive test
3.196
2.835
3.603
Likelihood ratio of a negative test
0.528
0.492
0.567
---------------------------------------------------------
2. Sensibilidad y especificidad
Valores idóneos de sensibilidad y la especificidad
•0≥SyE≤1
• Sensibilidad cercana a 1 cuando:
Enfermedad grave pero tratable (SIDA, tuberculosis,…)
Screening (interesa captar a todos los enfermos)
Como primera prueba (si se necesitan muchas para diagnóstico)
• Especificidad cercana a 1 cuando:
Enfermedad grave sin cura.
Confirmación de diagnóstico sugerido por otros datos (no dará FP)
Evitar FP en tratamientos caros, con efectos secundarios …
2. Sensibilidad y especificidad
Establecer la sensibilidad y la especificidad
Selección del grupo de pacientes
• Espectro de pacientes: Atención: pacientes utilizados para validar la
prueba son diferentes a los que se aplicará en la realidad. “Los sanos
son muy sanos y los enfermos muy enfermos”. No hay estadíos.
• Sesgo: En la evaluación de S y E, el resultado de la prueba no debe
formar parte de la información utilizada para el establecer el
diagnóstico.
• Azar: Normalmente S y E evaluados en muestras pequeñas (más
imprecisas), los datos reales (población) requieren de un intervalo de
confianza.
2. Sensibilidad y especificidad
Establecer la sensibilidad y la especificidad
¿QUÉ VEREMOS?
1. Diagnóstico. Pruebas diagnósticas.
2. Sensibilidad, especificidad.
3. Valores predictivos. Prevalencia.
4. Razones de verosimilitud
5. Curva ROC.
1. Construcción
2. Interpretación
3. Comparación
3. Valores predictivos. Prevalencia
¿pero…el paciente sufre la enfermedad o no?
S y E ayudan a decidir si se utiliza una prueba o no, pero una
vez se conoce el resultado no aportan información
se basan en el conocimiento previo
(enfermo/sano) del individuo
3. Valores predictivos. Prevalencia
¿el paciente sufre la enfermedad o no?
si mi paciente ha tenido un resultado positivo/negativo
en la prueba, ¿qué probabilidad hay de que sufra/no
sufra la enfermedad?
Valor predictivo positivo
Probabilidad de sufrir la enfermedad en un
paciente con un resultado positivo en la prueba
VP+ = P(Enf/T+)
Valor predictivo negativo
Probabilidad de no sufrir la enfermedad en un
paciente con un resultado negativo en la prueba
VP- = P(no Enf/T-)
3. Valores predictivos. Prevalencia
Valores predictivos
Gold Standard
Enfermo
Sano
TOTAL
Positivo
a
b
a+b
Diagnóstica Negativo
c
d
c+d
a+c
b+d
a+b+c+d
Prueba
TOTAL
3. Valores predictivos. Prevalencia
Ejemplo.
Estudio n= 2.641 pacientes con sospecha de cáncer prostático
Prueba inicial : tacto rectal
Prueba posterior: biopsia prostática (método de referencia)
Resultado de la biopsia
Cáncer
Patología benigna
TOTAL
Resultado
Anormal
634
269
903
tacto rectal
Normal
487
1251
1738
TOTAL
1121
1520
2641
Valor predictivo positivo = 634 / (269+634) = 70.21%
70.21% de los pacientes con tacto rectal
anormal fueron correctamente
diagnosticados
Valor predictivo negativo = 1251 / (487+1251) = 71.98%
71.98% con tacto rectal normal eran sanos
3. Valores predictivos. Prevalencia
Ejemplo con R Commander. Plug-in “EZR”
Disease positive Disease negative Total
Test positive
634
Test negative
487
Total
1121
269
1251
1520
903
1738
2641
Point estimates and 95 % CIs:
--------------------------------------------------------Estimation Lower CI Upper CI
Apparent prevalence
0.342
0.324
0.360
True prevalence
0.424
0.406
0.444
Sensitivity
0.566
0.536
0.595
Specificity
0.823
0.803
0.842
Positive predictive value
0.702
0.671
0.732
Negative predictive value
0.720
0.698
0.741
Diagnstic accuracy
0.714
0.696
0.731
Likelihood ratio of a positive test
3.196
2.835
3.603
Likelihood ratio of a negative test
0.528
0.492
0.567
---------------------------------------------------------
3. Valores predictivos. Prevalencia
Prevalencia
Proporción de personas en una población definida que sufren la
enfermedad en un momento concreto.
Probabilidad de tener la enfermedad antes de conocer el resultado de la
prueba
3. Valores predictivos. Prevalencia
Prevalencia
Resultado de la biopsia
Cáncer
Patología benigna
TOTAL
Resultado
Anormal
634
269
903
tacto rectal
Normal
487
1251
1738
TOTAL
1121
1520
2641
Prevalencia = 1121/2641 = 42.45%
• Proporción de pacientes que tiene la enfermedad en la
población
• Probabilidad de tener la enfermedad por el solo hecho de
pertenecer a dicha población.
3. Valores predictivos. Prevalencia
Ejemplo con R Commander. Plug-in “EZR”
Disease positive Disease negative Total
Test positive
634
Test negative
487
Total
1121
269
1251
1520
903
1738
2641
Point estimates and 95 % CIs:
--------------------------------------------------------Estimation Lower CI Upper CI
Apparent prevalence
0.342
0.324
0.360
True prevalence
0.424
0.406
0.444
Sensitivity
0.566
0.536
0.595
Specificity
0.823
0.803
0.842
Positive predictive value
0.702
0.671
0.732
Negative predictive value
0.720
0.698
0.741
Diagnstic accuracy
0.714
0.696
0.731
Likelihood ratio of a positive test
3.196
2.835
3.603
Likelihood ratio of a negative test
0.528
0.492
0.567
---------------------------------------------------------
3. Valores predictivos. Prevalencia
Influencia de la prevalencia
Del cálculo de los VP:
VP+ =
VP- =
Individuos con enfermedad y sin
Cambios en la composición de
la población alterarán sus
valores
Si prevalencia es baja: resultado negativo (sano) permitirá descartar la
enfermedad con mayor seguridad (VP negativo alto). El resultado positivo
(enfermo), no permitirá confirmar el diagnóstico (VP positivo bajo)
Sensibilidad y especificidad son específicos de la prueba y no dependen de la
población de estudio
3. Valores predictivos. Prevalencia
Influencia de la prevalencia. Ejercicio
Ejemplo: Diagnóstico VIH. Población Gallega 1.
Diagnóstico correcto
VIH+
VIH-
TOTAL
Resultado
Positivo
5.970
13.970
19.940
Prueba
Negativo
30
2.780.030
2.780.060
TOTAL
6.000
2.794.000
2.800.000
Ejemplo: Diagnóstico VIH. Población Gallega 2.
Diagnóstico correcto
VIH+
VIH-
TOTAL
Resultado
Positivo
796.000
10.000
806.000
Prueba
Negativo
4.000
1.990.000
1.994.000
TOTAL
800.000
2.000.000
2.800.000
3. Valores predictivos. Prevalencia
Influencia de la prevalencia
Ejemplo: Diagnóstico VIH. Población Gallega. Con RCommander
3. Valores predictivos. Prevalencia
Influencia de la prevalencia
Ejemplo: Diagnóstico VIH. Población Gallega. Con RCommander
¿QUÉ VEREMOS?
1. Diagnóstico. Pruebas diagnósticas.
2. Sensibilidad, especificidad.
3. Valores predictivos. Prevalencia.
4. Razones de verosimilitud
5. Curva ROC.
1. Construcción
2. Interpretación
3. Comparación
4. Razones de verosimilitud
Razones de verosimilitud
• Índice para comparar dos métodos (pruebas diagnósticas) que no dependa de la
prevalencia en la población.
• Cuánto más probable es un resultado concreto según la presencia o ausencia de la
enfermedad
• RP+ = P (test positivo en enfermos) / P (test positivo en sanos) =
= VP / FP =
= sensibilidad / (1-especificidad)
• RP- = P (test negativo en enfermos) / P (test negativo en sanos) =
= FN / VN =
= (1-sensibilidad) / especificidad
4. Razones de verosimilitud
Ejemplo: Estudio amb n= 2.641 pacientes con sospecha de cáncer prostático
Prueba inicial : tacto rectal
Prueba referencia: biopsia prostática
Resultado de la biopsia prostática
Cáncer
Patología benigna
TOTAL
Resultado
Anormal
634
269
903
tacto rectal
Normal
487
1251
1738
TOTAL
1121
1520
2641
Sensibilidad = 634 / (634+487) = 0.5656 = 56.6%
Especificidad = 1251 / (269+1251) = 0.8230 = 82.3%
Prevalencia = 1121/2641 = 42.45%
Valor predictivo positivo = 634 / (269+634) = 70.21%
Valor predictivo negativo = 1251 / (487+1251) = 71.98%
RP+ = 0.566 / (1-0.823) = 3.19
RP- = (1-0.566) / 0.823 = 0.53
Hay x3 veces más probabilidades de
observar un tacto rectal anormal en
enfermos que en sanos
4. Razones de verosimilitud
Ejemplo: Estudio amb n= 2.641 pacientes con sospecha de cáncer prostático
Prueba inicial : tacto rectal
Prueba referencia: biopsia prostática
Disease positive Disease negative Total
Test positive
634
Test negative
487
Total
1121
269
1251
1520
903
1738
2641
Point estimates and 95 % CIs:
--------------------------------------------------------Estimation Lower CI Upper CI
Apparent prevalence
0.342
0.324
0.360
True prevalence
0.424
0.406
0.444
Sensitivity
0.566
0.536
0.595
Specificity
0.823
0.803
0.842
Positive predictive value
0.702
0.671
0.732
Negative predictive value
0.720
0.698
0.741
Diagnstic accuracy
0.714
0.696
0.731
Likelihood ratio of a positive test
3.196
2.835
3.603
Likelihood ratio of a negative test
0.528
0.492
0.567
---------------------------------------------------------
4. Razones de verosimilitud
Ejercicio:
¿QUÉ VEREMOS?
1. Diagnóstico. Pruebas diagnósticas.
2. Sensibilidad, especificidad.
3. Valores predictivos. Prevalencia.
4. Razones de verosimilitud
5. Curva ROC.
1. Construcción
2. Interpretación
3. Comparación
5. Curvas ROC
Construcción de curvas ROC
Positivo
Hasta ahora teníamos pruebas con resultados dicotómicos
Negativo
genera un valor de sensibilidad y un valor de
especificidad
Pruebas con resultados continuos
Elección de diferentes puntos de
corte que permitan hacer una
clasificación dicotómica.
Muchos valores de sensibilidad y
especificidad que van variando
según el punto de corte escogido
Representación gráfica
5. Curvas ROC
Construcción de curvas ROC
5. Curvas ROC
Construcción de curvas ROC Receiver Operator Characteristic
Tasa de VP
(sensibilidad)
Tasa de FP (1-especificidad)
5. Curvas ROC
Interpretación de curvas ROC
Curva ROC permite comparar entre
dos pruebas diagnósticas diferentes
5. Curvas ROC
Ejemplo
Los ultrasonidos se pueden utilizar
para detectar disminución del
grosor de la pared del utero
(indicativo de posible tumor). Si el
resultado es positivo se requiere
biopsia.
Cutoff for
abnormal wall
thickness
>4 mm
>5 mm
>10 mm
>15 mm
>20 mm
>25 mm
Sentivity
(%)
Specificity
(%)
1Specificity(%)
99
97
83
60
40
20
50
61
80
90
95
98
50
39
20
10
5
2
Objetivo: maximizar el número de VP (diagnóstico correcto de cáncer)
con un acceptable número de FP (biopsias hechas cuando no había
cáncer)
5. Curvas ROC
Ejemplo
5. Curvas ROC
Ejemplo con Rcommander
5. Curvas ROC
Ejemplo con Rcommander
Dataset: SDI2
Estudio sobre fertilidad. Se
estudian dos variables:
•SDI (sperm deformity index)
•Número de mitocondrias
¿cuál es el mejor punto de
corte para la variable SDI?
5. Curvas ROC
Ejercicio con Rcommander
Dataset: SDI2
¿cuál es el mejor punto de
corte para la variable
NIVEL DE MITOCONDRIAS?
5. Curvas ROC
Comparación de curvas ROC
¿cuál de los cuestionarios es mejor?
AREA BAJO LA CURVA
0<AUC<1
5. Curvas ROC
Comparación de curvas ROC
AREA BAJO LA CURVA
5. Curvas ROC
Comparación de curvas ROC. En RCommander
5. Curvas ROC
Comparación de curvas ROC. En RCommander
Más software libre.
5. Curvas ROC
Ejercicio. En RCommander
Dataset: Osteoporosis.
Para predecir la variable clasific, ¿qué prueba diagnóstica crees que es
mejor?
* índice de masa corporal
* densidad ósea