Slides 10

EST-712 - Test de Hipótesis
Felipe Osorio
www.ies.ucv.cl/fosorio
Instituto de Estadı́stica, PUCV
Junio 25, 2016
1 / 21
Test de hipótesis
Objetivo:
I Una hipótesis es un enunciado sobre el estado de la naturaleza.
I Describimos el estado de la naturaleza mediante un modelo estadı́stico.
I En nuestro contexto una hipótesis es una especificación del modelo asumido.
Un test es un procedimiento (regla de decisión) basado en los datos para determinar si
la hipótesis es verdad o no.
OBS: Dado que los datos son aleatorios, estas reglas de decisión también son
aleatorias!
2 / 21
Formulación del problema
Suponga un modelo estadı́stico para la muestra X = (X1 , . . . , Xn )> ,
P = {Pθ : θ ∈ Θ}.
Entonces, test de hipótesis son subconjuntos de P mediante considerar una partición:
Θ = Θ0 ∪ Θ1 ,
con
Θ0 ∩ Θ1 = ∅
La hipótesis nula usualmente se denota por H0 . Bajo H0 se establece que X es
especificado por el modelo
P0 = {Pθ : θ ∈ Θ0 },
y escribimos
H0 : θ ∈ Θ0 .
Decimos que H0 es verdadero sólo si la muestra es distribuı́da de acuerdo a Pθ ∈ P0
3 / 21
Formulación del problema
La hipótesis alternativa describe el caso contrario y se denota como H1 o HA .
Bajo H1 se establece que la muestra X se distribuye de acuerdo a Pθ con θ ∈ Θ1 y
escribimos
H0 : θ ∈ Θ1 .
La hipótesis se denomina simple si ésta especifica completamente la distribución, en el
caso contrario es llamada una hipótesis compuesta.
4 / 21
Tipos de hipótesis
Para introducir ideas, considere Θ ⊆ R, se dice que H0 y H1 son a una cola si:
H0 : θ ≥ θ0
vs.
H1 : θ < θ0 ,
H0 : θ ≤ θ0
vs.
H1 : θ > θ0 .
vs.
H1 : θ 6= θ0 .
o bien,
Se dice que H1 es a dos colas si
H 0 : θ = θ0
Las siguientes también son hipótesis a una cola. Considere Θ = [θ0 , ∞), y
H0 : θ = θ0
vs.
H1 : θ > θ0 ,
vs.
H1 : θ < θ0 .
mientras que para Θ = (−∞, θ0 ],
H 0 : θ = θ0
5 / 21
Ejemplo de hipótesis
Considere una m.a.(n) desde una N (µ, σ 2 ) cuyo modelo estadı́stico es dado por:
P = {N (µ, σ 2 )⊗n : θ = (µ, σ 2 )> ∈ R × R+ },
estamos interesados en probar la hipótesis
H0 : µ ≤ µ0
vs.
H1 : µ 6= µ0 .
con µ0 ∈ R un valor especificado.
Note que, bajo H0 el modelo asume la forma:
P0 = {N (µ0 , σ 2 ) : σ 2 ∈ R+ },
De este modo, H0 describe una lı́nea y no un único punto!
6 / 21
Ejemplo de hipótesis
Asuma que ahora σ02 es conocido, en cuyo caso tenemos el modelo:
P = {N (µ, σ02 )⊗n : µ ∈ R}.
Suponga exactamente la misma hipótesis anterior
H0 : µ ≤ µ0
vs.
H1 : µ 6= µ0 .
En este caso Θ = R, mientras que Θ0 = {µ0 } es un punto, además bajo H0 sigue que
P0 = N (µ0 , σ02 )⊗n .
Importante: Por tanto las hipótesis dependen del modelo subyacente!
7 / 21
Test: Como evaluar la evidencia...
Objetivo:
I La idea básica es comparar los resultados muestrales x = (x1 , . . . , xn )> con el
modelo P0 bajo la hipótesis nula.
I La comparación es basada en un estadı́stico T (x) que permite medir la discre-
pancia o inconsistencia entre los datos x y el modelo P0 .
T (x) es llamado un estadı́stico de prueba y su distribución bajo H0 se denomina
distribución nula.
Ası́, surgen los siguientes problemas:
I ¿Cómo hallar una medida apropiada T (x)?
I ¿Qué conclusiones se pueden tomar desde T (x)?
8 / 21
Test: Como evaluar la evidencia...
Para determinar la credibilidad de H0 , consideramos que tan alejado está el valor
observado T (x) = tobs desde sus valores tı́picos1 cuando H0 es verdadera.
Definición (valor-p):
El valor-p correspondiente a un valor observado T (x) = tobs es la probabilidad que
T (X) se encuentre en la región de rechazo, calculada bajo la hipótesis nula.
Por ejemplo, para el problema: H0 : θ = θ0 vs. H1 : θ > θ0 con Θ = [θ0 , ∞), tenemos
valor-p = PT
0 (T ≥ tobs ) = Pθ0 (T (X) ≥ tobs ),
mientras que para una hipótesis a dos colas, sigue que:
valor-p = PT
0 (|T | ≥ |tobs |)
1 Usando la distribución PT .
0
9 / 21
Test: Como evaluar la evidencia...
Como tomar una decisión:
Valores pequeños del valor-p indican que el estadı́stico de prueba no se encuentra en la
región central de la distribución nula y, por tanto:
Existirá una fuerte evidencia contra H0 .
Definición (test no aleatorizado):
Un test (no aleatorizado) ϕ es una estadı́stica desde el espacio muestral X a {0, 1}:
(
1, x ∈ C1 (rechazar H0 )
ϕ(x) =
0, x ∈ C0 (aceptar H0 )
donde X = C0 ∪ C1 con C0 ∩ C1 = ∅. C1 es llamado la región crı́tica.
10 / 21
Test: Regla de decisión
Definición (test aleatorizado):
Un test aleatorizado ϕ es una función sobre C1 , C− y C0 a [0, 1], donde
X = C1 ∪ C− ∪ C0 con C1 , C− , C0 disjuntos:


1, x ∈ C1 (rechazar H0 )
ϕ(x) = γ, x ∈ C− (rechazar H0 con probabilidad γ)


0, x ∈ C0 (aceptar H0 )
Para llevar a cabo el test se debe hacer:
I obtener los datos x,
I muestrear u desde U(0, 1),
I si u < ϕ(x) rechazamos H0 , en caso contrario se acepta H0 .
11 / 21
Tópicos no cubiertos
El objetivo es definir aquellas propiedades útiles para un estadı́stico de prueba. Sin
embargo, varios tópicos no serán cubiertos en este curso. A saber:
I Tipos de errores/Función potencia.
I Test de Neyman-Pearson.
I Test (uniformemente) mas potentes (UMP).
I Test insesgados.
Tales tópicos forman parte de un curso (no tan preliminar) de inferencia estadı́stica.
12 / 21
Test de razón de verosimilitudes
Considere f0 (·) la densidad asociada a P0 y f1 (·) aquella asociada con P1 . Entonces
para k ≥ 0 y γ ∈ [0, 1] el siguiente test:


1, f0 (x) < kf1 (x)
ϕ(x) = γ, f0 (x) = kf1 (x)


0, f0 (x) > kf1 (x)
es conocido como test de Neyman-Pearson.
Note que el test de razón de verosimilitudes (LRT) con estadı́stico de prueba:
Λ(x) =
f0 (x)
,
f1 (x)
es un test de Neyman-Pearson.
13 / 21
Test asintóticos
Test de Wald:
Considere θ ∈ R, sabemos que:
θb − θ0
D
q
−→ N1 (0, 1).
F1−1 (θ0 )/n
Ası́, suponga que se desea probar
H0 : θ = θ0
vs.
H1 : θ 6= θ0 .
El test de Wald de tamaño α es2 : Rechazar H0 cuando
|W | > z1−α/2 ,
donde
W =
θb − θ0
,
d
SE
d=
SE
q
b
F1−1 (θ)/n.
2 Note que P (|W | > z
θ0
1−α/2 ) → α cuando n → ∞
14 / 21
Test asintóticos
Test de Wald
En general, tenemos que:
√
D
b − θ 0 ) −→ Np (0, F −1 (θ 0 )).
n(θ
1
De este modo, si deseamos probar la hipótesis (puntual):
H0 : θ = θ 0
vs.
H1 : θ 6= θ 0 .
Podemos considerar el test de Wald con estadı́stico de prueba:
D
b − θ 0 )> F 1 (θ)(
b θ
b − θ 0 ) −→ χ2 (p)
W = n(θ
y rechazamos H0 si:
W > χ21−α (p).
15 / 21
Test asintóticos
Test de Wald
Considere la hipótesis (no lineal):
H0 : g(θ) = 0
vs.
H1 : g(θ) 6= 0
con g : Rp → Rr tal que ∂g(θ)/∂θ > es matriz de rango r (∀θ ∈ Θ). El test definido
por la región crı́tica:
{W ≥ χ21−α (r)}
donde
n
b
b > o−1
b ∂g(θ)
b
b ∂g(θ) F −1 (θ)
g(θ).
W = ng > (θ)
1
>
>
∂θ
∂θ
es llamado test de Wald.
16 / 21
Test asintóticos
Observación:
Considere:
H0 : g(θ) = θ 1 − θ 01 = 0
en otras palabras
H0 : θ 1 = θ 01
con θ =
> >
(θ >
1 , θ2 )
con θ 1 ∈
Rr
(r < p). En este caso
b1 − θ 0 )> G−1 (θ)(
b θ
b1 − θ 0 ),
W = n(θ
1
1
11
donde G(θ) = F −1 (θ) y la matriz de información de Fisher es particionada como
F 11 (θ) F 21 (θ)
F (θ) =
,
F 21 (θ) F 22 (θ)
−1 .
además G11 (θ) = (F 11 (θ) − F 12 (θ)F −1
22 (θ)F 21 (θ))
17 / 21
Test asintóticos
Test score
e el MLE de θ bajo la restricción g(θ) = 0 y suponga que estamos
Considere θ
interesados en probar la hipótesis
H0 : g(θ) = 0
vs.
H1 : g(θ) = 0
El test definido por la región crı́tica:
{S ≥ χ21−α (r)}
donde
1 > e −1 e
e
U (θ)F (θ)U (θ).
n
es llamado test score (de Rao, multiplicadores de Lagrange).
S=
Además, bajo H0 se tiene que W − S converge en probabilidad a cero conforme
n → ∞.
18 / 21
Test asintóticos
Observación:
Para la hipótesis
H0 : θ 1 = θ 01
donde θ =
> >
(θ >
1 , θ2 )
con θ 1 ∈
S=
Rr×r
donde G11 (θ) ∈
G(θ) = F −1 (θ).
Rr
vs.
(r < p). Tenemos
e >
1 ∂`(θ)
n
H1 : θ 1 6= θ 01
∂θ 1
e b ∂`(θ) ,
G11 (θ)
∂θ 1
representa el elemento correspondiente a θ 1 en la partición de
19 / 21
Test asintóticos
Test de razón de verosimilitudes
Considere la hipótesis
H0 : g(θ) = 0
vs.
H1 : g(θ) = 0
El test con región crı́tica:
{LR ≥ χ21−α (r)}
donde
b − `(θ)},
e
LR = 2{`(θ)
byθ
e los MLE de θ bajo H1 y H0 , respectivamente, es llamado test de razón de
con θ
verosimilitudes.
Además, bajo H0 tenemos que LR − S y LR − W convergen en probabilidad a cero
conforme n → ∞.
20 / 21
Test asintóticos
Comentarios:
I Los estadı́sticos LR, S y W son conocidos como la holy trinity de los test
asintóticos.
I Aunque el test de Wald es recomendable desde el punto de vista computacional3
suele tener un desempeño pobre en muestras pequeñas y no es invariante (en
general).
I Los estadı́sticos S, LR han sido recomendados para hipótesis del tipo
H0 : g(θ) = 0.
3 Evita desarrollar una optimización restringida.
21 / 21