Estadígrafos PEEC

ESTADIGRAFOS APLICADOS EN EL
PROGRAMA
DE
EVALUACIÓN
EXTERNA DE LA CALIDAD (P.E.E.C.)
QF. Francisco Castro G.
Sección Coordinación PEEC.
Subdepartamento Coordinación Externa.
SEPTIEMBRE 2012
1
NORMATIVAS
Los estadígrafos empleados en PEEC
están basados en las normas:
ISO/IEC 17043:2010, Evaluación de la
conformidad - Requisitos generales para los
ensayos de aptitud.
ISO 13528:2005,
Métodos Estadísticos
usados en ensayos de aptitud para
comparación interlaboratorios.
2
NORMATIVAS
Las etapas fundamentales comunes a todo
ensayo de aptitud son las siguientes (anexo B,
ISO 17043):
I.- Determinación del Valor Asignado al material de
control enviado en cada evaluación.
II.- Selección de los estadígrafos usados para evaluar
desempeño.
III.- Calificación del desempeño de los participantes.
IV.- Evaluación de la estabilidad y homogeneidad del
material de control.
3
I.- Valor Asignado
Definiciones:
• Valor atribuido a una propiedad particular de un
material usado en un ensayo de aptitud (ISO
17043).
• Valor atribuido a una cantidad particular y
aceptado, a veces por convención, que tiene una
incertidumbre apropiada para un objetivo dado
(ISO 13528).
•Se considera que el valor asignado es un buen
estimador del valor verdadero.
4
Determinación
del
asignado (ISO 13.528)
Valor
El PEEC utiliza los siguientes criterios para
determinar el valor asignado, cabe destacar
que la Norma ISO 13528 señala 3 formas.
I.1.- Valor de referencia certificado.
5
Determinación
del
asignado (ISO 13.528)
Valor
I.2.- Valor de consenso obtenido de los
laboratorios participantes.
- Estadística Robusta usando algoritmo A
(método de Huber) para cálculo de valor
asignado (media robusta).
- Estadística tradicional: Previo al cálculo de
media se deben descartar valores extremos
mediante métodos adecuados (Grubbs,
Dixon, Pearson, Healey (X+/-3DS), etc.).
6
DETERMINACIÓN DE EVALUACIÓN Y
CALIFICACIÓN DEL DESEMPEÑO
II.- Selección de los estadígrafos para evaluar
desempeño y III.- Calificación del desempeño de los
participantes (ISO 17043).
1.- Desviación o Bias:
Donde:
x
X
D = (x – X)
valor reportado por laboratorio
valor asignado
Desempeño (ISO 13528):
|D|  2σ
Satisfactorio.
2σ < |D|  3σ
Cuestionable.
|D| > 3σ
Insatisfactorio
7
DETERMINACIÓN DE EVALUACIÓN Y
CALIFICACIÓN DEL DESEMPEÑO
2.- Desvío Relativo Porcentual (DRP o %
Sesgo) Representa el grado de desviación del
resultado informado por el laboratorio con
respecto al valor de consenso, expresado en
porcentaje.
DRP=
xi - x
* 100
x
Se entrega el valor de DRP, en los informes de
resultados P.E.E.C., sólo a modo informativo
para que el laboratorio pueda calcular su error
total.
8
DETERMINACIÓN DE EVALUACIÓN Y
CALIFICACIÓN DEL DESEMPEÑO
3.- Z score (SDI, IDE): El índice de desvío
estándar describe el error sistemático o desvío de
un método como un múltiplo del desvío estándar
observado para el grupo.
z  score
Desempeño:
|Z-score| 2
2< |Z-score| 3
|Z-score| >3

( x  x )
SD
Satisfactorio.
Cuestionable.
Insatisfactorio
9
DETERMINACIÓN DE EVALUACIÓN Y
CALIFICACIÓN DEL DESEMPEÑO
El PEEC evalúa el desempeño de
laboratorio con este estadígrafo. (variables
cuantitativa).
Es ampliamente usado y aceptado en los
ensayos de aptitud a nivel mundial.
10
DETERMINACIÓN DE EVALUACIÓN Y
CALIFICACIÓN DEL DESEMPEÑO
• Criterio uniforme en todas las áreas
técnicas PEEC que procesan datos de
variables cuantitativas.
• El desempeño de laboratorio se evalúa con el
valor de z-score del par analito-método.
• Para evaluar desempeño, usando el consenso
de los laboratorios, se considera un mínimo de
10 datos para calcular valor asignado y
desviación estándar de evaluación.
11
EVALUACIÓN DE LA APTITUD
z

score

(x

x
)
SD
Debido a que se utiliza el Z score y el consenso
de los laboratorios, además del valor asignado, se
debe determinar la Desviación Estándar para
evaluar la Aptitud.
12
Desviación Estándar para evaluar la
Aptitud
Definición:). Medida de la dispersión
usada en la evaluación de la aptitud,
basada en la información disponible (ISO
13.528).
13
Desviación Estándar para evaluar la
Aptitud (SD):
El PEEC utiliza los siguientes estadígrafos
para determinar el valor de SD (Norma
ISO 13528 señala 4 formas).
14
Cálculo Desviación Estándar para
evaluar la Aptitud (SD):
1.- Valor de consenso entre los participantes
a partir de los datos obtenidos en la ronda de
intercomparación.
En el PEEC es determinado usando:
Estadística Robusta: Algoritmo A (método de
Huber) para cálculo del valor asignado (media
robusta) y de la Desviación estándar xrobusta de
la
ronda.
15
Cálculo Desviación Estándar para
evaluar la Aptitud (SD):
Estadística Tradicional: Previo al cálculo de media
y desviación estándar se deben descartar valores
extremos mediante métodos adecuados (Grubbs,
Dixon, Pearson, Healey ( +/-3DS),
etc.).
16
Conceptos Básicos de Estadística
metodos tradicionales para descartar
valores extremos (Grubbs, Dixon, etc):
• Frecuentemente
no
son
muy
satisfactorios,
especialmente
si
hay
presentes varios valores extremos.
• Asumen que los datos tienen distribución
normal, lo que no siempre es verdadero.
17
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
Métodos para calcular Valor Asignado
con el Consenso de laboratorios.
1.- Estadígrafos indicadores de tendencia
central de la distribución de los datos,
asociados al Valor Asignado.
1 N
x 
 xi
1.1- Media Aritmética:
N Esi el1 promedio de un
grupo de datos.
Es fácil de calcular, pero es afectada por valores
extremos o outliers y por asimetrías.
18
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
1.2.- Mediana:
Es el número central de un grupo de valores
cuando están ordenados secuencialmente de
menor a mayor.
Fácil de calcular.
-Se ordenan los datos de menos a mayor.
-Si el N° de datos es impar, la mediana es el
número central.
-Si el N° de datos es par, la mediana es el
promedio de los dos datos centrales.
19
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
Es preferible usar la mediana antes que la
media porque es robusta, es decir no es
afectada por valores extremos, y es más
estable frente a distribuciones asimétricas.
20
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
1.3.-Moda:
Es
el
número
que
más
frecuentemente se repite en un conjunto de
valores. También es un indicador de tendencia
central.
En distribuciones normales la media, mediana y
moda son iguales.
1.4.Media
Recortada:
Valor
obtenido
mediante un método robusto en que se
“recortan” o descartan la misma cantidad de
valores en ambos extremos de la distribución
para disminuir el efecto de valores atípicos.
Después se calcula la media aritmética.
21
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
1.5.- Media Robusta: Obtenido por métodos
robustos iterativos (Algoritmo A de la Norma
ISO13528 ó método de Huber).
Cierta parte de los datos en ambos extremos de
la distribución son reemplazados, previo al
cálculo del promedio.
Es
fácil
de
calcular
en
sistemas
computacionales,
pero
es
afectado
por
asimetrías fuertes en la distribución de datos.
22
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
2.- Estadígrafos indicadores de dispersión
de datos.
La precisión se relaciona con el grado de
dispersión de los valores obtenidos.
2.1.-Desviación Estándar: indica que tan
próximos o precisos son los resultados de un
grupo de valores
23
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
2.2.- Coeficiente de Variación (CV): Es útil
para comparar dos o mas grupos de datos
entre si.
CV % = s x 100 /
x
24
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
2.3.- MAD: Desviación Absoluta a la mediana.
Se considera como método robusto.
El MAD es una estadístico útil y adecuado para
evaluar outliers o valores extremos.
25
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
El MAD multiplicado por el factor 1,483 es una
estimación robusta, llamada desviación estándar
basada en MAD (SMAD ó MAD estandarizado).
Desv. Estándar basada en MAD = SMAD =
1,483 x MAD
26
Conceptos Básicos de Estadística
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
con el Consenso de laboratorios.
Ejemplo:
MEDIANA
MAD
415,5
14,00
RESULTADOS
ABS (X-MEDIANA)
ABS (X-MEDIANA)
415
415- 415,5
0,50
416
416- 415,5
0,50
418
418- 415,5
2,50
422
422- 415,5
6,50
424
424- 415,5
8,50
425
425- 415,5
9,50
397
397- 415,5
18,50
396
396- 415,5
19,50
396
396- 415,5
19,50
396
396- 415,5
19,50
440
440- 415,5
24,50
339
339- 415,5
76,50
El MAD es la mediana
de
las
diferencias
absolutas.
SMAD = 1,483 x MAD
27
Conceptos Básicos de Estadística
Métodos para calcular Desviación Estándar
con el Consenso de laboratorios.
2.4.-Desviación Estándar Robusta.
Obtenido por métodos robustos iterativos
(Algoritmo A de la Norma ISO13528 o Método
de Huber).
28
Robustez y resistencia
En general (se asume una distribución normal de
los datos o valores)siempre se supone distribución
normal, lo cual no siempre es así.
Es deseable que un método de análisis de datos
sea poco sensible a suposiciones de la
distribución de datos.
Un método es robusto cuando sus resultados no
dependen esencialmente de la distribución de los
datos.
29
Robustez y resistencia
Un método es resistente si no es influído
considerablemente por datos atípicos (“outliers”)
La estadística robusta se asocia a lo que se conoce
como estadística No paramétrica.
Se aplica
típicamente cuando no se conoce la distribución de
los datos, o cuando su distribución es no normal.
30
CARACTERISTICAS DE LA
ESTADISTICA ROBUSTA
• Aplicable a conjuntos de datos cuya distribución
es semejante a la normal, y que contienen
valores extremos (ej. distribuciones unimodales
relativamente simétricas).
• Se aplica a conjuntos de datos contaminados por
“outliers”.
31
CARACTERISTICAS DE LA
ESTADISTICA ROBUSTA
• El método disminuye la influencia de los
valores extremos sobre las estimaciones
de los estadígrafos de posición y
dispersión.
En método iterativos de
reemplazo no se pierde la información
estadística de los datos extremos, sino
que se ponderan de menor manera.
• Modela de forma fiable la parte central del
conjunto de datos.
32
33
34
35
Algoritmo A o método de Huber
• Ordenar datos de menor a mayor.
• Calcular la mediana y desviación estándar (desv.
Estándar estandarizado =1,483*MAD) con los
datos originales.
• Calcular
limite
superior
(mediana
+1,5
desv.estándar estandarizada) y límite inferior
(mediana – 1,5desv.estándar estandarizada).
36
Algoritmo A o método de Huber
• Todos los datos mayores al limite superior son
reemplazados por el limite superior y todos los
datos menores al limite inferior son reemplazados
por el limite inferior.
• Calcular nuevo valor de media (como media
aritmética) y desviación estándar de los nuevos
datos.
37
Algoritmo A o método de Huber
• Repetir o iterar el proceso, usando en cada
iteración los datos originales, hasta que los
valores de media y desviación estándar robusta
convergan respectivamente a valores estables.
• Con los valores obtenidos de media y desviación
estándar robusta se calcula el valor Z score.
38
N
MEDIANA
SMAD (1,483*MAD)
U=MED+1,5*SMAD
L=MED-1,5*SMAD
Laboratorio
1
2
3
4
5
6
7
8
9
10
11
12
12
415,5
20,76
446,643
384,357
WIN1
410,780
DESVEST
18,719
U=PROM+1,5*DS 438,858
L=PROM-1,5*DS 382,701
WIN2
410,547
18,794
438,738
382,355
384,357
396,000
396,000
396,000
397,000
415,000
416,000
418,000
422,000
424,000
425,000
440,000
382,701
396,000
396,000
396,000
397,000
415,000
416,000
418,000
422,000
424,000
425,000
438,858
PROMEDIO
RESULTADOS ABS (X-MEDIANA)
339
76,50
396
19,50
396
19,50
396
19,50
397
18,50
415
0,50
416
0,50
418
2,50
422
6,50
424
8,50
425
9,50
440
24,50
Z SCORE
DESEMPEÑO
DRP
-3,79
-0,77
-0,77
-0,77
-0,72
0,24
0,29
0,40
0,61
0,72
0,77
1,56
Insatisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
-17,42
-3,53
-3,53
-3,53
-3,29
1,10
1,34
1,83
2,80
3,29
3,53
7,19
Planilla Excel
39
Gráfico de Youden de Z-Scores
Se usa cuando en una evaluación se envían dos
muestras que tienen distintas concentraciones de
un mismo analito (hematología).
Permite evaluar el tipo de error.
40
Gráfico de Youden de Z-Scores
Si el par de datos de un laboratorio “cae” en los
cuadrantes superior derecho ó inferior izquierdo
predomina componente de error sistemático.
Si el par de datos de una laboratorio “cae” en los
cuadrantes superior izquierdo ó inferior derecho
predomina componente de error aleatorio.
41
EVALUACION A TRAVÉS DEL TIEMPO
• SRZ: (suma reescalada de Z score).
Inmunología.
SRZ = ∑Zi/ √¯n
ƖSRzƖ ≤ 2
Satisfactorio;
2 <ƖSRzƖ < 3
Cuestionable;
ƖSRzƖ ≥ 3
No satisfactorio
Usado en
Sensible a la presencia de errores sistemáticos a
través del tiempo.
Se considera la implementación (Portal PEEC) de gráficos,
en los informes de resultados de los laboratorios, con los
valores Z de las últimas evaluaciones por analito
42
Resumen:
Consenso entre los participantes.
Z score para evaluar desempeño.
DRP para estimar el error sistemático.
X media robusta.
S* desviación estándar robusta.
CV coeficiente de variación.
43
Muchas Gracias
44