Tema 6: Multicolinealidad

Tema 6:
Multicolinealidad
Máximo Camacho
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
1
Multicolinealidad
h 
i 
Bloque I: El modelo lineal clásico
r 
Tema 1: Introducción a la econometría
r 
Tema 2: El modelo de regresión lineal
r 
Tema 3: El método MCO
r 
Tema 4: Propiedades de la estimación MCO
r 
Tema 5: Inferencia y predicción
Bloque II: Extensiones al modelo lineal clásico
r 
Tema 6: Multicolinealidad
r 
Tema 7: Variables ficticias
r 
Tema 8: Heteroscedasticidad
r 
Tema 9: Endogeneidad
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
2
Descripción de la clase
 
Introducción
 
Multicolinealidad exacta
 
 
• 
Consecuencias sobre la estimación
• 
¿Cómo detectarla?
• 
¿Cómo corregirla?
Multicolinealidad aproximada
• 
Consecuencias sobre la estimación
• 
¿Cómo detectarla?
• 
¿Cómo corregirla?
Conclusiones
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
3
1. Introducción
1.1. Ejemplo de clase
 
En California los responsables de educación quieren estudiar notas en 420
colegios. Datos en 1998
i 
Notas Yi
i 
Ratio estudiantes por profesor X1i (REP)
i 
Porcentaje de alumnos que no hablan bien el idioma X2i (PNI)
i 
Porcentaje de alumnos que pueden pedir ayuda para comedor X3i (PAC)
i 
Porcentaje de alumnos que pueden pedir ayuda por renta baja X4i (PAR)
 
¿Cómo estimamos esta relación?
 
Modelo lineal clásico
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
nuevas
4
1. Introducción
1.2. Supuestos del modelo lineal clásico
 
Suponemos relación lineal entre las variables
Yi = β 0 + β1 X 1i + ... + β k X ki + ε i
 
Y = Xβ + ε
Yi = χ i ' β + ε i
Supuestos
E (ε i χ i ) = E (ε i ) = 0
 
Exogeneidad débil
 
Muestras aleatorias ⇒ E (ε i χ j ) = E (ε i ) = 0
Ž 
Momentos cuartos finitos
 
No multicolinealidad exacta
 
Normalidad
‘ 
Homoscedasticidad
Máximo Camacho
( )
E (ε iε j ) = E (ε i )E (ε j ) = 0
( )
( )
0 < E ε i4 < ∞,0 < E X 14i < ∞,...,0 < E X ki4 < ∞
X 1 ,..., X n no son linealmente dependientes
ε X~N
var(ε i X ) = σ 2∀i
Econometría I - ADE+D 11/12 - Tema 6
5
2. Multicolinealidad exacta
2.1. Concepto
 
Definición
i 
 
 
Una o varias variables explicativas son una combinación lineal de otra(s)
Ejemplos económicos
i 
.
Renta regional
i = β 0 + β1interési + ε i
i 
. i = β0 + β1ingresosi + β 2gastos i + β3beneficioi + ε i
Cotización
La matriz de explicativas X tiene columnas linealmente dependientes
⎛ Y1 ⎞ ⎛1
⎜ ⎟ ⎜
⎜ Y2 ⎟ ⎜1
⎜  ⎟ = ⎜ 
⎜ ⎟ ⎜
⎜ Y ⎟ ⎜1
⎝ n ⎠ ⎝
Máximo Camacho
X 11
X 12

X 1n




X k 1 ⎞⎛ β 0 ⎞ ⎛ ε 1 ⎞
⎟⎜ ⎟ ⎜ ⎟
X k 2 ⎟⎜ β1 ⎟ ⎜ ε 2 ⎟
+
 ⎟⎜  ⎟ ⎜  ⎟
⎟⎜ ⎟ ⎜ ⎟
X kn ⎟⎠⎜⎝ β k ⎟⎠ ⎜⎝ ε n ⎟⎠
Econometría I - ADE+D 11/12 - Tema 6
6
2. Multicolinealidad exacta
2.2. Implicación para el modelo
 
−1
ˆ
(
)
β
=
X
'
X
X 'Y
No podemos encontrar de forma única MCO
rango ( X ) < K
 
 
X'X = 0
∄(X X)-1
i 
Teoría: Hemos excluido este caso por supuesto !
i 
Pero podría aparecer en aplicaciones prácticas
¿Cómo detectarlo?
i 
Los programas “se quejarán” de que no podemos invertir matriz (X’X)
i 
En Eviews aparece el mensaje “near singular matrix”
¿Cómo corregirlo?
i 
Se deben a errores del investigador al introducir las explicativas
i 
Al aparecer mensaje de error, corregiremos las explicativas
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
7
2. Multicolinealidad exacta
2.2. Implicación para el modelo
  Corrección
i 
En el ejemplo de la renta regional, supongamos interési = 4
Renta regionali = β 0 + β1interési + ε i
Renta regionali = α 0 + ε i
i 
Renta regionali = β 0 + β1 4 + ε i
α 0 = β0 + β1 4
En el ejemplo de la cotización sabemos beneficiosi = ingresosi - gastosi
Cotización i = β 0 + β1ingresosi + β 2gastos i + β3beneficioi + ε i
α 0 = β0
Cotización i = α 0 + α1ingresosi + α 2gastos i + ε i
α1 = β1 + β3
α 2 = β 2 − β3
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
8
3. Multicolinealidad aproximada
3.1. Concepto
 
Definición
i 
Una o varias variables explicativas son una combinación lineal aproximada de otra(s)
i 
Supongamos que X1 es buena explicativa pero comb. lineal aproximada de las demás
X 1i = α 0 + α 2 X 2i + ... + α k X ki + u1i
 
Ejemplos económicos
Porcentaje de alumnos que pueden pedir ayuda por renta baja
Porcentaje de alumnos que pueden pedir ayuda para comedor
Ayudas que recibe una colegio para libros
Ayudas que recibe el colegio para instalaciones
Gasto público en carreteras
Gasto público en mejorar otras comunicaciones
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
9
3. Multicolinealidad aproximada
3.2. Implicación para el modelo
 
−1
ˆ
(
)
β
=
X
'
X
X 'Y
Podemos encontrar de forma única MCO
rango ( X ) = K
 
X'X ≠ 0
∃ (X X)-1
i 
Nota: Hemos excluido la multicolinealidad exacta por el supuesto !
i 
Estimadores cumplen buenas propiedades y contrastes e intervalos como siempre
¿Qué problemas genera en la estimación?
i 
Para entenderlo, supongamos que hacemos la regresión
X 1i = α 0 + α 2 X 2i + ... + α k X ki + u1i
i 
Y definimos
2
SCR1
∑ uˆ1i
R = 1−
= 1−
2
STC1
(
)
X
−
X
∑ 1i 1
2
1
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
10
3. Multicolinealidad aproximada
3.2. Implicación para el modelo
 
¿Qué problemas genera en la estimación?
i 
Podemos demostrar (ejercicios de clase y Wooldridge, pág. 102) que
βˆ1 = β1 +
∑ uˆ ε
∑ uˆ
1i
2
1i
i
σ
var βˆ1 X =
(
)
2
∑ uˆ12i
=
σ2
(1 − R )∑ (X
2
1
2
1i
− X1 )
i 
Cuanta mayor relación lineal entre X1 y el resto mayor varianza de β̂1
i 
Estimación imprecisa e intervalos de confianza muy grandes ⎛⎜ βˆ1 ± tn− K ,α / 2 vâr βˆ1 ⎞⎟
i 
Ejemplos:
( )⎠
⎝
(
)
i 
2
Si X1 no se relacionara ( R21 = 0 ) var βˆ1 X = σ
i 
Si R21 = 0.5 esa varianza se duplica
i 
Si R21 = 0.9 esa varianza se multiplica por 10
Máximo Camacho
∑ (X
Econometría I - ADE+D 11/12 - Tema 6
2
1i
− X1 )
11
3. Multicolinealidad aproximada
3.2. Implicación para el modelo
 
Ejemplo simulado (Novales, pág 346)
(ε
j
j
j
)
i 
Se generan 50 tripletas de vectores (112 x 1)
, X 1 , X 2 (j=1, 2, …50)
i 
Bajo 3 supuestos de R21 (0, 0.9 y 0.99). Siempre se cumplen los supuestos clásicos
i 
Se generan Y j conociendo la recta poblacional Yi j = 8 + 5 X 1ji − 3 X 2ji + ε i j
i 
Se estima MCO 50 veces y los resultados medios
Medias
R21 = 0.00
R21 = 0.90
R21 = 0.99
β̂
( 8.0 , 5.1, -3.0 )
( 7.9, 5.1,-3.2 )
( 7.9, 5.2, -3.3 )
var βˆ1
0.23
1.29
11.22
2
0.23
1.06
11.03
( )
var(βˆ )
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
casi esperanzas
(insesgados)
aumentan mucho
12
3. Multicolinealidad aproximada
3.2. Implicación para el modelo
 
Puede indicar artificialmente variables no son significativas individualmente
i 
Supongamos que hacemos el contraste
Yi = β 0 + β1 X 1i + ... + β k X ki + ε i
i 
H 0 : βi = 0
H a : βi ≠ 0
El estadístico tiene varianza muy grande y tiende a caer en zona de no RH0
r 
Con independencia de que X1 se relacione con Y
r 
Aunque el R2c sea alto y no caiga al quitar X1
t* =
βˆi
( )
vâr βˆi
~ tn− K
- tn-K,α/2
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
tn-K,α/2
13
3. Multicolinealidad aproximada
3.3. Métodos de detección de multicolinealidad
Método 1: gráficos de las explicativas
 
i 
En nuestro ejemplo
i 
Esperamos que PAR y PAC se relacionen (negativamente) con la dependiente
i 
Esperamos que PAR y PAC se relacionen linealmente (y positivamente)
i 
Crítica: los gráficos siempre nos pueden engañar
Notasi = β 0 + β1REPi + β 2 PNI i + β3 PACi + β 4 PARi + ε i
720
720
700
700
680
680
80
70
660
50
PAR
NOTAS
NOTAS
60
660
640
640
620
620
40
30
20
10
0
600
600
0
10
20
30
40
PAR
Máximo Camacho
50
60
70
80
0
20
40
60
80
100
PAC
Econometría I - ADE+D 11/12 - Tema 6
0
20
40
60
80
100
PAC
14
3. Multicolinealidad aproximada
3.3. Métodos de detección de multicolinealidad
 
Método 2: regresar explicativas entre ellas y ver R2j
i 
Sabemos que
(
σ2
) (1 − R ) (X
∑
var βˆ j X =
2
j
2
ji
− X j)
i 
El problema viene dado por R2j altos que indican alta relación lineal
i 
Veamos como son los R2j
REPi = α 0 + α1PNI i + α 2 PACi + α3 PAR3i + ε i ⇒ R12 = 0.04
PNI i = α 0 + α1REPi + α 2 PACi + α3 PAR3i + ε i ⇒ R22 = 0.49
PARi = α 0 + α1REPi + α 2 PNI i + α3 PAC3i + ε i ⇒ R32 = 0.60
PACi = α 0 + α1REPi + α 2 PNI i + α3 PAR3i + ε i ⇒ R42 = 0.74
i 
Parece que el problema puede estar con PAR o con PAC
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
15
3. Multicolinealidad aproximada
3.3. Métodos de detección de multicolinealidad
i 
Crítica ¿cómo de grande debe ser R2j para preocuparnos por multicolinealidad?
r 
En la literatura ha habido algunos intentos de acotarlo
r 
Ej: Klien (1962). Sólo nos preocupa si R2j > R2
Notasi = β0 + β1REPi + β2 PNI i + β3 PACi + β 4 PARi + ε i ⇒ R 2 = 0.77
PARi = α 0 + α1REPi + α 2 PNI i + α3 PAC3i + ε i ⇒ R32 = 0.60
PACi = α 0 + α1REPi + α 2 PNI i + α3 PAR3i + ε i ⇒ R42 = 0.74
r 
i 
¿Debemos preocuparnos por multicolinealidad?
No hay ninguna razón objetiva para usar esta cota
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
16
3. Multicolinealidad aproximada
3.3. Métodos de detección de multicolinealidad
 
Método 3: regresar explicativas entre ellas y contrastes significatividad conjunta
i 
i 
Sabemos que
REPi = α 0 + α1PNI i + α 2 PACi + α 3 PARi + ε i
CSC: H 0 : α1 = 0, α 2 = 0, α 3 = 0
*
j
F =
R 2j 3
(1 − R ) (n − 4)
2
j
REPi = α 0 + α1PNI i + α 2 PACi + α 3 PAR3i + ε i ⇒ F1* = 5.77
PNI i = α 0 + α1REPi + α 2 PACi + α3 PAR3i + ε i ⇒ F2* = 133
RH 0
PARi = α 0 + α1REPi + α 2 PNI i + α 3 PAC3i + ε i ⇒ F3* = 208
PACi = α 0 + α1REPi + α 2 PNI i + α 3 PAR3i + ε i ⇒ F4* = 394
i 
3.60
Crítica. Con n grande RH0 con demasiada frecuencia: recuerda que R21 = 0.04 !!!
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
17
3. Multicolinealidad aproximada
3.3. Métodos de detección de multicolinealidad
 
Método 4: contradicción contraste significatividad global e individuales
i 
Supongamos que en el modelo
Yi = β 0 + β1 X 1i + β 2 X 2i + β3 X 3i + β 4 X 4i + ε i
i 
Las explicativas X2i , X3i y X4i se relacionan casi linealmente
i 
Si las variables se relacionan con la dependiente
r 
El contraste de significatividad global, menos afectado por la multicolinealidad,
puede indicar significatividad (incluso al 1%)
r 
i 
Y el R2 puede ser alto indicando un buen ajuste
Sus contrastes de significatividad individuales
r 
Pueden indicar no significatividad
r 
Sólo una variable (X1i ) significativa
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
18
3. Multicolinealidad aproximada
3.3. Métodos de detección de multicolinealidad
i 
Crítica: casos tan claros no los tendremos en la realidad
Notˆasi = 700.39− 1.01 REPi − 0.13 PNI i − 0.52 PACi − 0.04 PARi ⇒ R = 0.77
2
(0.23)
( 4.69)
ti* =
( 0.03)
⎧ t1* = −4.23
⎪ *
βˆi
⎪ t 2 = −3.81
⎨ *
vâr βˆi ⎪t3 = −16.42
⎪ t * = −0.78
⎩ 4
( )
( 0.03)
*
F =
( 0.06)
R2 4
(1 − R ) (n − 5) = 357
2
*
t3
*
t1
*
t4
*
F
t2
-1.96
Máximo Camacho
1.96
Econometría I - ADE+D 11/12 - Tema 6
*
2.37
19
3. Multicolinealidad aproximada
3.3. Métodos de detección de multicolinealidad
r 
Globalmente significativas
r 
PAR es la única no significativa
r 
¿Se debe a multicolinealidad o a que no es una buena explicativa?
r 
q 
Si se debe a multicolinealidad: vamos a ver soluciones
q 
Si no se relaciona con la dependiente: deberíamos quitarla del modelo
q 
¿Pero cómo lo sabremos?
q 
Lo mejor es acudir al sentido común
¿Cuáles son las soluciones a la multicolinealidad?
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
20
3. Multicolinealidad aproximada
3.4. Soluciones a la multicolinealidad
 
Solución 1: añadir información extra-muestral
i 
Ampliar la muestra: usando otros colegios de California
r 
i 
Crítica: debemos usar toda la información disponible en la primera estimación
Usar la estimación de otra muestra
r 
Supongamos que usando datos de Texas hemos estimado
Notˆasi = −0.20 PARi
r 
Para los datos de California estimamos
Notasi = β 0 + β1REPi + β 2 PNI i + β3 PACi − 0.20 PARi + ε i
r 
Máximo Camacho
Crítica: ¿por qué
βˆ4Texas = βˆ4California
? ⇒ Restricciones falsas sesgan la estimación
Econometría I - ADE+D 11/12 - Tema 6
21
3. Multicolinealidad aproximada
3.4. Soluciones a la multicolinealidad
 
Solución 2: Usar estimadores alternativos a MCO
i 
Estimador de Cresta
r 
Buscamos un c y un estimador de menor varianza
βˆC = ( X ' X + cI )−1 X ' Y
r 
i 
(
)
−1
−1
2
var βˆc X = σ ( X ' X + cI ) X ' X ( X ' X + cI )
críticas: el estimador propuesto es sesgado y cómo elegir c
Estimador de componentes principales
r 
Buscamos combinación lineal de las columnas de X: Z = XB
r 
B se busaca de forma que las Zi sean ortogonales (elimina multicolinealidad)
r 
Regresamos usando Z
r 
críticas:
Máximo Camacho
α̂
Y = Zα + ε
difíciles de interpretar
da igual si objetivo es predecir
sesgados
Econometría I - ADE+D 11/12 - Tema 6
22
3. Multicolinealidad aproximada
3.4. Soluciones a la multicolinealidad
 
Solución 3: Eliminar la variable no significativa (PARi)
i 
(Ver tema 5: consecuencias de imponer restricciones ciertas y falsas)
i 
Supongamos que eliminamos la variable: imponemos β4 = 0
r 
Si no se relaciona con las notas ⇒ Imponemos una restricción cierta
(No sesgo y reducimos la varianza)
r 
Si se relaciona con las notas ⇒ Imponemos una restricción falsa
(Introducimos sesgo y reducimos la varianza)
i 
¿Cuándo merece la pena asumir el riesgo de eliminarla?
r 
Máximo Camacho
Analizaremos el error cuadrático medio
Econometría I - ADE+D 11/12 - Tema 6
23
3. Multicolinealidad aproximada
3.4. Soluciones a la multicolinealidad
r 
Supongamos un modelo más sencillo
Yi = β1 X 1i + β 2 X 2i + ε i
r 
Pensamos que X2 presenta problemas de multicolinealidad con X3 : si β = 0
2
~
Yi = β1 X 1i + ε i
r 
β̂1
β1
¿ECM? (Ejercicios de clase y Novales, pág 361)
~
2
ECM β1 = var βˆ1 + sesgo
( )
( )
~
ECM (β1 )
= 1 + R22 t 2 − 1
ECM (βˆ1 )
(
)
⎛
t = ⎜⎜
⎝
⎞
⎟
var(βi ) ⎟⎠
βi
r 
Sólo merece la pena si | t |<1 ⇒ algunos autores piden | t* |<<1 r 
críticas: q ¿Cuánto podemos considerar t* <<1?
q ¿Queremos estimadores sesgados?
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
24
3. Multicolinealidad aproximada
3.4. Soluciones a la multicolinealidad
r 
En nuestro ejemplo
Notˆasi = 700.39 − 1.01 REPi − 0.13 PNI i − 0.52 PACi − 0.04 PARi
( 4.69 )
r 
(0.23)
( 0.03)
( 0.03)
( 0.06 )
βˆ4
*
t4 =
( )
vâr βˆ4
= 0.78
¿Qué hacemos?
q 
Mi consejo es acudir al sentido común (teoría económica)
q 
Parece que tanto PAC como PAR contienen la misma información sobre los
colegios: nos dicen cuáles tienen más alumnos pobres
q 
Podemos eliminar PAR porque PAC ya contiene la información necesaria
para estimar el modelo de notas
Notˆasi = 700.15− 0.99 REPi − 0.12 PNI i − 0.55 PACi
( 4.69 )
Máximo Camacho
(0.24 )
( 0.03)
Econometría I - ADE+D 11/12 - Tema 6
( 0.02 )
25
4. Conclusión
 
X4 puede tener distintas relaciones con las demás ( X-4 ) y la dependiente
  X4 no explicativa y multico, : X4 la eliminamos con contrastes
  X4 explicativa y no multico, X4 explicativa: X4 será explicativa final
  X4 explicativa y multico no severa: X4 será explicativa tras los contrastes
  X4 explicativa y multico severa: acudir al sentido común más contrastes
X-4
X4
X-4
X4
caso 1
caso 3
X-4
X-4
X4
X4
caso 2
Máximo Camacho
caso 4
Econometría I - ADE+D 11/12 - Tema 6
26
5. ¿Qué hemos aprendido?
 
Multicolinealidad
i 
 
 
 
Relación lineal entre las variables explicativas del modelo
Exacta
i 
Teoría: nunca hay porque suponemos !
i 
Práctica: fácil de detectar y resolver
Aproximada
i 
Da lugar a estimaciones imprecisos, varianzas e intervalos de confianza grandes
i 
Difícil de detectar y de corregir
¿Qué hacer?
i 
Asegurarnos de que tenemos multicolinealidad: todas pruebas y teoría económica
i 
No significativa y la información sobre Y ya está en las que quedan: eliminarla
i 
No significativa pero la información sobre Y ya está en las que quedan: la dejamos
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
27