Conceptos bgsicos de inferencia estadistica (III): Inferencia no

Conceptos básicos de inferencia estadística (III):
Inferencia no paramétrica:
Contrastes de bondad de ajuste.
Tema 1 (III)
Estadística 2
Curso 08/09
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
1 / 33
Inferencia no paramétrica
Objetivos
Inferencia no paramétrica
En inferencia estadística es habitual partir de una hipótesis de la forma:
Suponemos X1 , . . . , Xn m.a.s. de X
Hipótesis estructurales (Xi i.i.d. (X )):
Independencia (aleatoriedad)
Homogeneidad (misma distribución)
Adicionalmente, en inferencia estadística paramétrica, se supone un
modelo paramétrico:
La distribución de X es de la forma Fθ (x )
(siendo θ un parámetro desconocido)
Distribución paramétrica (la distribución se ajusta a un modelo
paramétrico)
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
2 / 33
Inferencia no paramétrica
Objetivos
Inferencia no paramétrica
Objetivos
Desarrollar herramientas que permitan veri…car el grado de
cumplimiento de las hipótesis anteriores:
Métodos descriptivos (grá…cos)
Contrastes de bondad de ajuste
Contrastes de aleatoriedad
Desarrollar procedimientos alternativos válidos cuando estas
hipótesis no se veri…can (métodos de distribución libre).
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
3 / 33
Contrastes de bondad de ajuste
Introducción
Contrastes de bondad de ajuste
A partir de X1 , . . . , Xn m.a.s. de X con función de distribución F , interesa
realizar un contraste de la forma:
H0 : F = F 0
H1 : F 6 = F 0
Por ejemplo:
H0 : F = N (0, 1)
H1 : F 6= N (0, 1)
H0 : F es normal N (µ, σ2 )
H1 : F no es normal
H0 simple
H0 compuesta
H0 especi…ca por completo
la distribución de X
H0 sólo especi…ca
el tipo de distribución
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
4 / 33
Contrastes de bondad de ajuste
Introducción
Métodos Grá…cos
Histograma
Diagrama de cajas
Función de distribución empírica
Grá…cos P-P y Q-Q
Grá…co de tallo y hojas
Densidad suavizada
...
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
5 / 33
Contrastes de bondad de ajuste
Introducción
Contrastes de hipótesis
Generales:
H0 : F = F0
H1 : F 6 = F0
Chi-cuadrado de Pearson
Kolmogorov-Smirnov
Especí…cos de normalidad:
H0 : F = N (µ, σ2 )
H1 : F 6= N (µ, σ2 )
Kolmogorov-Smirnov-Lilliefors
Shapiro-Wilks
Asimetría y apuntamiento
...
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
6 / 33
Métodos Grá…cos
Histograma
Métodos Grá…cos
Histograma
Se agrupan los datos en intervalos Ik = [Lk 1 , Lk ) .
A cada intervalo se le asocia un valor (altura) proporcional a la
frecuencia de dicho intervalo:
ni
fi
=
fˆn (x ) =
Lk Lk 1
n (Lk Lk 1 )
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
7 / 33
Métodos Grá…cos
Grá…co de cajas
Grá…co de cajas (Box-plot)
Útiles para resumir un conjunto de datos (variables cuantitativas con
un amplio rango de valores), permiten visualizar la distribución y la
dispersión de los datos y también detectar valores extraños (outliers).
Son muy utilizados en el análisis exploratorio de datos y
especialmente útiles para comparar distribuciones.
NOTA: Normalidad ) simetría
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
8 / 33
Métodos Grá…cos
Ejemplos
Ejemplos
Distribución normal
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
9 / 33
Métodos Grá…cos
Ejemplos
Ejemplos
Distribución asimétrica
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
10 / 33
Métodos Grá…cos
Función de distribución empírica
Función de distribución empírica
La función de distribución empírica Fn asigna a cada número real x la
frecuencia relativa de observaciones menores o iguales que x.
Se ordena la muestra X(1 ) X(2 )
X(n ) y:
8
< 0 si x < X(1 )
i
si X(i ) x < X(i +1 )
Fn ( x ) =
: n
1 si X(n ) x
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
11 / 33
Métodos Grá…cos
Grá…cos P-P y Q-Q
Grá…co P-P
Gra…co de dispersión:
f(Fn (xi ), F0 (xi )) : i = 1,
, ng
siendo Fn la FD empírica y F0 la FD bajo H0 .
Si H0 es cierta, la nube de puntos estará en torno a la recta y = x
(probabilidades observadas próximas a las esperadas bajo H0 ).
NOTA: Si H0 : F = N (µ, σ2 ), F0 FD de N (µ̂, σ̂2 ).
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
12 / 33
Métodos Grá…cos
Grá…cos P-P y Q-Q
Grá…co Q-Q
Equivalente al anterior pero en la escala de la variable (cuantiles):
n
o
x(i ) , qi : i = 1,
,n
siendo x(i ) los cuantiles observados y qi = F0 1 (pi ) los esperados bajo
H0 .
NOTA: Típicamente
Tema 1 (III) (Estadística 2)
n
pi =
(i 0.5 )
n
: i = 1,
Contrastes de bondad de ajuste
,n
o
Curso 08/09
13 / 33
Contrastes
Contraste chi-cuadrado de Pearson
Contraste chi-cuadrado de Pearson
Contraste de bondad de ajuste:
H0 : F = F0
H1 : F 6 = F0
Agrupamos los datos en k clases: C1 ,
, Ck
Bajo H0 cada clase tendrá asociada una probabilidad pi = P (X 2 Ci )
General
C1
..
.
Clases
Discreta
x1
..
.
Ck
xk
Contraste a realizar:
Tema 1 (III) (Estadística 2)
Continua
[L0 , L1 )
..
.
[Lk
1 , Lk )
Probabilidades
H0 simple H0 compuesta
p1
p̂1
..
..
.
.
pk
∑i pi = 1
p̂k
∑i p̂i = 1
H0 : Las probabilidades son correctas
H1 : Las probabilidades no son correctas
Contrastes de bondad de ajuste
Curso 08/09
14 / 33
Contrastes
Contraste chi-cuadrado de Pearson
Si H0 es cierta entonces fi
pi (fi frecuencia relativa de la clase Ci ),
o equivalentemente las frecuencias observadas:
ni = n fi
deberían ser próximas a las esperadas bajo H0 :
ei = n pi
Sugiriendo el estadístico del contraste:
χ2 =
k
∑
i =1
ei ) 2
(ni
ei
aprox .
χ2k
r 1,
si H0 cierta
siendo:
k = número de clases
r = número de parámetros estimados (para obtener las pi ).
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
15 / 33
Contrastes
Contraste chi-cuadrado de Pearson
Clases
ni observadas
pi bajo H0
ei bajo H0
C1
..
.
n1
..
.
p1
..
.
e1
..
.
Ck
nk
pk
ek
Total
∑i ni = n
∑i pi = 1
∑ i ei = n
(n i e i )2
ei
(n 1 e 1 )2
e1
..
.
(n k e k )2
ek
(n e )2
k
2
χ = ∑ i =1 i e i i
Cuando H0 es cierta el estadístico tiende a tomar valores pequeños y
grandes cuando es falsa.
Rechazamos H0 , para un nivel de signi…cación α, si:
k
∑
i =1
Tema 1 (III) (Estadística 2)
ei ) 2
(ni
ei
χ2k
Contrastes de bondad de ajuste
r 1,1 α
Curso 08/09
16 / 33
Contrastes
Contraste chi-cuadrado de Pearson
Distribución bajo H0
Â2k¡r¡1
Â2k¡r¡1;1¡®
Si realizamos el contraste a partir del p-valor o nivel crítico:
!
k
2
(
n
e
)
i
i
p = P χ2k r 1
∑ ei
i =1
rechazaremos H0 si p α (y cuanto menor sea con mayor
“seguridad” la rechazaremos) y aceptaremos H0 si p > α (con mayor
“seguridad” cuanto mayor sea).
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
17 / 33
Contrastes
Condiciones necesarias para la validez del test
Condiciones necesarias para la validez del test
Para que la aproximación χ2 de la distribución del estadístico del contraste
sea válida:
El tamaño muestral debe ser su…cientemente grande (p.e. n > 30).
La muestra debe ser una muestra aleatoria simple.
En caso de que haya que estimar parámetros, los parámetros deben
estimarse por el procedimiento de máxima verosimilitud.
Las frecuencias esperadas ei = n pi deberían ser todas 5.
Si la frecuencia esperada de alguna clase es < 5, se agrupa con otra clase
(o con varias si no fuese su…ciente con una) para obtener una frecuencia
esperada 5.
Cuando la variable es nominal (no hay una ordenación lógica) se suele
agrupar con la(s) que tiene(n) menor valor de ei .
Si la variable es ordinal (o contínua) debe juntarse la que causó el
problema con una de las adyacentes.
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
18 / 33
Contrastes
Condiciones necesarias para la validez del test
Si la variable de interés es continua, una forma de garantizar que ei
consiste en tomar un número de intervalos igual al mayor valor:
k
5
n/5
y de forma que sean equiprobables:
pi = 1/k
Por ejemplo en el caso de una normal estandar consideraríamos los puntos
críticos zi /k
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
19 / 33
Contrastes
Ejemplo test chi-cuadrado
Ejemplo
La siguiente tabla muestra los fallos de tres servidores web durante un año:
Servidor
No de fallos
1
8
2
10
3
15
Total
33
A partir de estos datos, con un nivel de signi…cación α = 0.05, ¿podemos
a…rmar que los tres servidores tienen la misma probabilidad de fallar?
Hipótesis del contraste:
H0 : p1 = p2 = p3 = 13
H1 : pi 6= pj para algún i, j
Estadístico del contraste:
χ2 =
k
∑
i =1
ei ) 2
(ni
ei
aprox .
χ2k
r 1,
si H0 cierta
k = número de clases = 3
r = número de parámetros estimados = 0
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
20 / 33
Contrastes
Ejemplo test chi-cuadrado
Regla de decisión: rechazamos H0 si:
χ2
χ22,0.95 = 5.99
Realización del contraste:
Categoría
1
2
3
Total
ni observadas
8
10
15
33
pi bajo H0
1/3
1/3
1/3
1
ei bajo H0
11
11
11
33
(n i e i )2
ei
0.8182
0.0909
1.4545
2
χ = 2.364
Como 2.364 < 5.99 ) aceptamos que los tres servidores tienen la
misma probabilidad de fallo.
Cálculo del p-valor:
p = P χ22
como p
2.364 = 0.3066 > 0.1 (tablas)
α aceptamos claramente H0 .
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
21 / 33
Contrastes
Contraste de Kolmogorov-Smirnov
Contraste de Kolmogorov-Smirnov
Contraste de bondad de ajuste de distribuciones continuas.
Se basa en comparar la FD bajo H0 (F0 ) con la FD empírica (Fn ):
Dn = sup jFn (x ) F0 (x )j,
x
n
= max jFn (X(i ) ) F0 (X(i ) )j, jFn (X(i
i =1,
NOTA: Fn X(i ) =
Tema 1 (III) (Estadística 2)
,n
1) )
F0 (X(i ) )j
o
i
n
Contrastes de bondad de ajuste
Curso 08/09
22 / 33
Contrastes
Dn
=
=
max
1 i n
max
1 i n
Contraste de Kolmogorov-Smirnov
i
F 0 ( X ( i ) ) , F0 ( X ( i ) )
n
+
Dn,i
, Dn,i
i
1
n
Si H0 es simple y F0 es continua, la distribución del estadístico Dn
bajo H0 no depende F0 . Esta distribución está tabulada (para
tamaños muestrales grandes se utiliza la aproximación asintótica). Se
rechaza H0 si:
KS
Dn Dn,1
α
Si H0 es compuesta, los parámetros desconocidos se estiman por
máxima verosimilitud y se trabaja con F̂0 , aunque los cuantiles de la
distribución de Dn pueden ser demasiado conservativos (puede ser
preferible aproximarlos por simulación).
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
23 / 33
Contrastes
Ejemplo test KS
Ejemplo (problema 2.4)
X = "tiempo de funcionamiento (en cientos de horas) de cierto tipo
de impresoras antes de la primera avería"
Se ha observado una muestra de diez impresoras:
1.69
2.99
3.03
3.68
4.70
7.32
9.72
15.87
16.16
18.39
Contrastar si la distribución de X es exponencial:
f (x ) = λe
λx
F (x ) = P (X
Se estima el parámetro λ =
λ̂ =
Tema 1 (III) (Estadística 2)
si x > 0
x) = 1
e
λx
si x > 0
1
,
E (X )
1
1
=
= 0.1197
x̄
8.355
Contrastes de bondad de ajuste
Curso 08/09
24 / 33
Contrastes
Ejemplo test KS
Se calcula la tabla del contraste K-S:
x(i )
1.69
2.99
3.03
3.68
4.70
7.32
9.72
15.87
16.16
18.39
F̂0 x(i )
0.183
0.301
0.304
0.356
0.430
0.584
0.688
0.850
0.855
0.889
Fn x ( i
1)
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
Fn x ( i )
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
Dn,i
0.183
0.201
0.104
0.056
0.070
0.084
0.088
0.150
0.055
0.111
D̂n = 0.201 y p = P (Dn 0.201) = 0.81 > 0.2 (tablas) ) Se
acepta la hipótesis de que las observaciones siguen una distribución
exponencial.
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
25 / 33
Contrastes
Contraste de Kolmogorov-Smirnov-Lilliefors
Contraste de Kolmogorov-Smirnov-Lilliefors
Contraste de normalidad, H0 : F = N (µ, σ2 ), empleando el
estadístico Dn anterior.
Los parámetros se estiman por máxima verosimilitud y
F̂0 = Φ ((x x )/s ) siendo Φ (z ) la FD de una N (0, 1).
El estadístico del contraste es:
Dn = sup jFn (x )
x
Φ
x
x
s
j
Esta distribución está también tabulada. Se rechaza H0 si:
Dn
Tema 1 (III) (Estadística 2)
KSL
Dn,1
α
Contrastes de bondad de ajuste
Curso 08/09
26 / 33
Contrastes
Ejemplo test KSL
Ejemplo (problema 2.4)
X = "tiempo de funcionamiento (en cientos de horas) de cierto tipo
de impresoras antes de la primera avería"
Se ha observado una muestra de diez impresoras:
1.69
2.99
3.03
3.68
4.70
7.32
9.72
15.87
16.16
18.39
Contrastar si la distribución de X es normal:
H0 : X
H1 : X
N (µ, σ2 )
N (µ, σ2 )
Se estiman los parámetros µ y σ:
µ̂ = x̄ = 8.355
σ̂ = s = 6.305
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
27 / 33
Contrastes
Ejemplo test KSL
Se calcula la tabla del contraste K-S-L:
x(i )
z(i )
=
1.69
2.99
3.03
3.68
4.70
7.32
9.72
15.87
16.16
18.39
x (i ) x
s
1.06
0.85
0.84
0.74
0.58
0.16
0.22
1.19
1.24
1.59
F̂0 x(i )
= Φ z(i )
0.145
0.198
0.201
0.229
0.281
0.436
0.586
0.883
0.892
0.944
Fn x ( i
1)
= i n1
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
Fn x ( i )
= ni
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
Dn,i
0.145
0.098
0.099
0.171
0.219
0.164
0.114
0.183
0.092
0.056
D̂n = 0.219 y p = P DnKSL 0.219 = 0.1904 ' 0.2 (tablas, 0.217)
) Se acepta la hipótesis de que las observaciones siguen una
distribución normal.
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
28 / 33
Contrastes
Contraste de simetría
Contraste de simetría
Coe…ciente de asimetría:
CA =
∑ni=1 (xi x )3
ns 3
Bajo la hipótesis de normalidad CA
aprox .
N (0, n6 )
Coe…ciente de asimetría estandarizado:
r
n
CAS =
CA
N (0, 1).
aprox .
6
Se rechaza la hipótesis de simetría si:
jCAS j
Tema 1 (III) (Estadística 2)
Z1
α
2
Contrastes de bondad de ajuste
Curso 08/09
29 / 33
Contrastes
Ejemplo test simetría
Ejemplo (problema 2.4)
X = "tiempo de funcionamiento (en cientos de horas) de cierto tipo
de impresoras antes de la primera avería"
Se ha observado una muestra de diez impresoras:
1.69
CA =
2.99
3.03
∑ni=1 (xi x )3
ns 3
σ̂ (CA) =
CAS =
q
6
10
CA
σ̂(CA )
4.70
7.32
9.72
15.87
16.16
18.39
= 0.642
= 0.775
=
p = 2 P (Z
3.68
0.642
0.775
= 0.828 2 R.A. = ( 1.96, 1.96)
j0.828j) ' 2 0.2061 = 0.412
Como p
α aceptamos (claramente) la hipótesis nula de que la
distribución de los datos es simétrica
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
30 / 33
Contrastes
Contraste de apuntamiento
Contraste de apuntamiento
Coe…ciente de apuntamiento o curtosis:
CAp =
∑ni=1 (xi x )4
ns 4
Bajo la hipótesis de normalidad CAp
aprox .
3
N (0, 24
n )
Coe…ciente de apuntamiento estandarizado:
r
n
CApS =
CAp
N (0, 1)
aprox .
24
Se rechaza la hipótesis de curtosis nula si:
jCApS j
Tema 1 (III) (Estadística 2)
Z1
α
2
Contrastes de bondad de ajuste
Curso 08/09
31 / 33
Contrastes
Ejemplo test apuntamiento
Ejemplo (problema 2.4)
X = "tiempo de funcionamiento (en cientos de horas) de cierto tipo
de impresoras antes de la primera avería"
Se ha observado una muestra de diez impresoras:
1.69
2.99
3.03
3.68
4.70
7.32
9.72
15.87
16.16
18.39
CAp =
1.397
q
σ̂ (CAp ) = 24
10 = 1.549
CApS =
CAp
σ̂(CAp )
p = 2 P (Z
=
1.397
1.549
=
0.902 2 R.A. = ( 1.96, 1.96)
j 0.902j) ' 2 0.1814 = 0.363
Como p > α = 0.05 aceptamos (claramente) la hipótesis nula de que la
distribución de los datos tiene curtosis nula.
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
32 / 33
Contrastes
Transformaciones para corregir la falta de normalidad
Transformaciones para corregir la falta de normalidad
Si hay falta de normalidad, la solución a tomar depende del tipo de
distribución que muestran los datos y de los objetivos de la inferencia.
Si la distribución es unimodal y asimétrica, se puede pensar en
transformar los datos para aproximarlos a la normalidad.
p
X
X
ln(X)
200
100
120
160
80
100
120
60
80
40
40
20
0
0
80
60
-4
16
36
56
76
40
20
0
-1
1
3
5
7
9
11
-4
-2
0
2
4
6
En otros casos se puede pensar en utilizar métodos alternativos no
paramétricos.
Tema 1 (III) (Estadística 2)
Contrastes de bondad de ajuste
Curso 08/09
33 / 33