M´ınimos Cuadrados Generalizados

Mı́nimos Cuadrados Generalizados
Román Salmerón Gómez
Los dos últimos temas de la asignatura han estado enfocados en estudiar por separado la relajación de
las hipótesis de que las perturbaciones estén incorrelacionadas y tengan varianza constante. Aunque ambos
problemas no suelen suceder conjuntamente, en este documento se analiza el caso más general presentando
el estimador por Mı́nimos Cuadrados Generalizados (MCG) como corrector de dichos problemas de forma
simultánea.
Los problemas que surgen en esta situación derivan del hecho de que la matriz de varianzas y covarianzas
de las perturbaciones no es un escalar por la matriz identidad, es decir, la varianza puede no ser constante
y las covarianzas ser distintas de cero. Se examinan también las consecuencias que ésto tiene sobre las
propiedades de los estimadores MCO de los coeficientes del modelo y sobre el estimador de la varianza de
las perturbaciones. También se evaluan las implicaciones que esta nueva situación tiene sobre la utilización
de las expresiones habituales para realizar los contrastes de hipótesis que se han considerado hasta ahora.
Este punto es muy importante para que el alumno entienda que los resultados que se obtienen al estimar por
MCO están siempre condicionados al cumplimiento de las hipótesis del modelo.
1.
Hipótesis del Modelo. Matriz de varianzas y covarianzas no escalar
El modelo lineal uniecuacional múltiple (con n observaciones y k regresores) responde a siguiente expresión
matricial
yn×1 = Xn×k · βk×1 + un×1 ,
(1)
donde E[u] = 0n×1 y V ar(u) = E[u · ut ] = σ 2 · In×n (esto es, la matriz de varianzas-covarianzas de la
perturbación aleatoria es escalar o, equivalentemente, las perturbaciones son esféricas).
Las condiciones anteriores sobre la perturbación aleatoria implican que la misma está centrada
(E[ut ] = 0, ∀t), es homocedástica (E[u2t ] = σ 2 , ∀t) e incorrelada (E[ui · uj ] = 0, ∀i 6= j). Luego, para
un análisis correcto del modelo, además de la estimación y validación del mismo, se deben de comprobar
como ciertas dichas hipótesis.
Ahora bien, ¿y si dichas hipótesis no se verifican? En tal caso el estimador por mı́nimos cuadrados
ordinarios deja de ser óptimo (en el sentido de mı́nima varianza) y existe un estimador alternativo superior.
Planteamos el problema de analizar el modelo (1) bajo las hipótesis E[u] = 0n×1 y E[u · ut ] = Σn×n donde
 2

σ1 σ12 . . . σ1n
 σ21 σ22 . . . σ2n 


Σ= .
..
..  .
..
 ..
.
.
. 
σn1 σn2 . . . σn2
Adviértase que la matriz anterior implica que E[u2t ] = σt2 6= σ 2 , ∀t (heteroscedasticidad) y que E[ui · uj ] =
σij 6= 0, ∀i 6= j (autocorrelación).
Además, por cuestiones de notación se suele considerar que Σ = σ 2 · Ω y hablaremos de un modelo
con matriz de varianzas-covarianzas no escalar o con perturbaciones no esféricas.
1
2.
Propiedades del estimador MCO con perturbaciones no esféricas
Puesto que en el método de estimación por mı́nimos cuadrados ordinarios no influye la matriz de varianzascovarianzas de la perturbación aleatoria es claro que el estimador por mı́nimos cuadrados ordinarios del
modelo (1) con perturbaciones no esféricas será:
−1 t
βbM CO = X t X
X y.
(2)
Dicho estimador sigue siendo lineal e insesgado, ya que las condiciones que conducen a verificar dichas
propiedades en el modelo con perturbaciones esféricas no se han modificado (las demostraciones son idénticas
a tal caso). Sin embargo, ya no se tiene asegurado que la varianza sea mı́nima, ya que en este caso se obtiene
la siguiente expresión:
−1 t
−1
V ar βbM CO
= X tX
X E[u · ut ]X X t X
−1 t
−1
= σ2 X t X
X ΩX X t X
,
−1
distinta a la del modelo con perturbaciones esféricas: σ 2 (X t X)
3.
.
Estimación por Mı́nimos Cuadrados Generalizados. Propiedades
En el apartado anterior hemos comprobado que en un modelo con perturbaciones no esféricas el estimador
por mı́nimos cuadrados ordinarios es lineal e insesgado pero no tenemos asegurado que sea óptimo (en el
sentido de varianza mı́nima).
Para resolver este problema surgen los mı́nimos cuadrados generalizados. Dicho método consiste en
transformar un modelo con perturbaciones no esféricas en otro con perturbaciones esféricas, de forma que al
aplicarle a este último el método de mı́nimos cuadrados ordinarios se obtenga un estimador lineal, insesgado
y óptimo.
En dicha transformación es fundamental el teorema de Aitken, el cual afirma que al ser Ω una matriz
simétrica definida positiva entonces existe una matriz regular, T , tal que T t T = Ω−1 (en tal caso se verifica
t
que Ω = T −1 T −1 , de donde se deduce que T ΩT t = In×n ).
Partiendo del modelo (1) con perturbaciones no esféricas y premultiplicando el mismo por una matriz no
estocástica, P , se obtiene:
P y = P Xβ + P u → y∗ = X∗ β + u∗ ,
donde y∗ = P y, X∗ = P X y u∗ = P u.
Si se estudian las propiedades de la perturbación aleatoria del modelo transformado obtendremos que:
E[u∗ ] = E[P u] = P E[u] = 0n×1 ,
E[u∗ · ut∗ ] = E[P uut P t ] = P E[uut ]P t = σ 2 P ΩP t .
De la expresiones anteriores se deduce que si P ΩP t = In×n , entonces el modelo transformado es un modelo
con perturbaciones esféricas.
Adviértase que en la transformación realizada no se han modificado las cantidades constantes del
modelo que se desean estimar.
¿Existe P tal que P ΩP t = In×n ? En efecto, usando el teorema de Aitken, sin más que elegir P = T
tenemos asegurado que se verifica tal hecho. Por tanto, el modelo transformado es un modelo lineal múltiple
con perturbaciones esféricas, por lo que al aplicarle mı́nimos cuadrados ordinarios se obtiene un estimador
lineal, insesgado y óptimo:
−1 t
∗
t
βbM
X∗ y∗ .
CO = X∗ X∗
2
Dicha estimación recibe el nombre de estimador por Mı́nimos Cuadrados Generalizados (MCG). Sin más que
deshacer el cambio:
−1 t t
βbM CG = X t P t P X
X P Py
−1 t −1
t −1
X Ω y,
(3)
= X Ω X
−1
V ar βbM CG
= σ 2 X∗t X∗
−1
−1
,
= σ 2 X t Ω−1 X
= σ2 X t P t P X
donde la matriz de varianzas-covarianzas es mı́nima.
Los estimadores obtenidos hasta el momento se pueden resumir en la siguiente tabla:
Modelo con perturbaciones esféricas
−1
t
] βbM CO = (X t X)
X y lineal, insesgado y óptimo
−1
V ar βbM CO = σ 2 (X t X)
Modelo con perturbaciones no esféricas
−1
] βbM CO =(X t X) X t y lineal e insesgado (no óptimo)
−1
−1
V ar βbM CO = σ 2 (X t X) X t ΩX (X t X)
−1 t −1
] βbM CG = X t Ω−1X
X
y óptimo
Ω y lineal, insesgado
−1
V ar βbM CG = σ 2 X t Ω−1 X
3.1.
Estimador de la varianza de la perturbación aleatoria
En la estimación de un modelo se tiene como objetivo las cantidades constantes del mismo, por lo que
faltarı́a estimar la varianza de la perturbación aleatoria.
A partir del modelo transformado es evidente que un estimador insesgado de la varianza de la perturbación aleatoria es:
∗
et∗ e∗
c2
σ
,
M CO =
n−k
donde e∗ = y∗ − yb∗ = y∗ − X∗ βbM CG = P y − P X βbM CG = P (y − X βbM CG ) = P e.
En tal caso, et∗ e∗ = et P t P e = et Ω−1 e, por lo que:
2
σ
bM
CG =
et Ω−1 e
,
n−k
donde e = y − X βbM CG .
4.
Estimación por intervalo y contraste de hipótesis
Partiendo del modelo transformado, la estimación por intervalo y los contrastes de hipótesis se realizan
igual que en el modelo lineal múltiple con perturbaciones esféricas sin más que deshacer el cambio anteriormente planteado. En tal caso obtendremos las siguientes expresiones:
−1 βbM CG ∼ N β, σ 2 X t Ω−1 X
,
3
2
(n − k) · σ
bM
CG
∼ χ2n−k ,
σ2
h
−1 t i
t R X t Ω−1 X
R
RβbM CG − r ·
· RβbM CG − r ∼ Fq,n−k ,
2
σ
bM CG
a partir de las cuales se puede realizar inferencia en el modelo.
5.
Los estimadores minimo cuadráticos generalizados factibles
Como se pone de manifiesto en las expresiones anteriores, para el cálculo de βbM CG se requiere conocer la
matriz Ω. Como en la práctica dicha matriz es desconocida, habrá que estimarla, obteniéndose ası́ el estimador
por mı́nimos cuadrados generalizados factibles (MCGF):
−1
b −1 X
b −1 y,
βbM CGF = X t Ω
X tΩ
b es una estimación de Ω.
donde Ω
En los temas dedicados a heteroscedasticidad y autocorrelación se han estudiado las formas más
comunes de la matriz Ω en cada caso y, por tanto, cómo estimarla.
6.
Reflexión
Al comparar las expresiones (2) y (3), junto a sus correspondientes matrices de varianzas-covarianzas,
observamos que coinciden cuando Ω = In×n .
”... En consecuencia, no hay ninguna razón por la que deba imponerse como matriz de covarianzas
−1
del estimador MCO una expresión restringida como es σ 2 (X t X) , sino que más bien bederı́a utilizarse
−1
−1
σ 2 (X t X) X t ΩX (X t X) y permitir ası́ que en las circunstancias apropiadas (cuando no hay heterosce−1
dasticidad ni autocorrelación) dicha matriz se reduzca numéricamente a σ 2 (X t X) .
−1
−1
Por tanto, la expresión σ 2 (X t X) X t ΩX (X t X)
es realmente la matriz de covarianzas del estimador MCO. Como ya hemos mencionado, no se trata de discutir si en un modelo de regresión existe
heteroscedasticidad y/o autocorrelación, sino que más bien, dando como un hecho el que ambos problemas
están siempre presentes en todo trabajo econométrico, entonces la cuestión reside en analizar en qué medida
aparecen en cada aplicacion empı́rica...”
Novales (1988). Econometrı́a (página 164).
7.
Ejemplos
1. Dado el modelo Yt = β0 + β1 Xt , con las observaciones
Yt
10
35
45
Xt
1
3
5
Se sabe que la matriz de varianzas-covarianzas de las perturbaciones es σ 2 Ω, donde Ω es
igual a:


1 00 6 00 2
Ω =  00 6 00 8 00 6 
00 2 00 6 00 9
4
a) ¿Son estocásticamente independientes u1 , u2 y u3 ?
b) Estimase β y σ 2 por MCO, ası́ como la matriz de varianzas covarianzas del estimador
MCO.
c) Estimase β y σ 2 por MCG, ası́ como la matriz de varianzas covarianzas del estimador
MCG.
Una vez más la matriz Ω indica que hay heteroscedasticidad (elementos de la diagonal principal no
constante) y autocorrelación (elementos de fuera de la diagonal principal no nulos), luego la perturbación
aleatoria para distintos instantes de tiempo no puede ser independiente. En este caso, las estimaciones
obtenidas por MCO no serán óptimas, al contrario que las obtenidas por MCG.
A continuación,
con el objeto de comparar dichas estimaciones, calcularemos las estimaciones de β, σ 2
y V ar βb por ambos métodos.
En el caso de los MCO se obtiene:
βbM CO
2
σ
bM
CO
d
V ar βb
M CO
−1 3 9
90
= X X
·X y =
·
9 35
340
0
1 4583 −00 375
90
30 75
=
·
=
,
−00 375 00 125
340
80 75
t
−1
t
370 5
et · e
=
= 370 5,
n−k
3−2
−1
2
t
= σ
bM
CO · X X
0
1 4583 −00 375
540 6875
0
= 37 5 ·
=
−00 375 00 125
−140 0625
=
−140 0625
40 6875
,
donde se ha tenido en cuenta que:

 

0
10
1 1
3 75
e = y − yb = y − X · βbM CO =  35  −  1 3  ·
80 75
45
1 5

  0  

−20 5
12 5
10
=  35  −  30  =  5  .
45
470 5
−20 5
Mientras que en el de los MCG:
βbM CG
2
σ
bM
CG
d
V ar βb
M CG
0
−1 −1
480 6486
1 7568 50 5405
X t Ω−1 X
· X t Ω−1 y =
·
50 5405 280 2432
2410 8919
0
1 4929 −00 2929
480 6486
10 7857
=
·
=
,
0
0
0
−0 2929 0 0929
241 8919
80 2143
=
et · Ω−1 · e
3210 4286
=
= 3210 4286,
n−k
3−2
−1
2
t −1
= σ
bM
X
CG · X Ω
0
1 4929 −00 2929
4680 75
= 3210 4286 ·
=
0
0
−0 2929 0 0929
−1200 5357
=
−1200 5357
400 1786
donde se ha tenido en cuenta que:

e = y − yb = y − X · βbM CG
 
10
1
=  35  −  1
45
1
5

0
1
1 7857

3
·
80 2143
5
,
 
  0

10
100 0000
0 0000
=  35  −  260 4286  =  80 5714  ,
45
420 8571
20 1429

y
20 4324 −20 8378
=  −20 8378 50 8108
10 3514 −30 2432

Ω−1
En ambos casos se ha usado que

1
X= 1
1

1
3 ,
5

10 3514
−30 2432  .
20 973


10
y =  35  , n = 3,
45
k = 2.
Por tanto, la estimación por MCO será:
Ybt = 30 75 + 80 75 · Xt ,
(70 4) (20 16)
σ
b2 = 370 5.
mientras que por MCG:
Ybt = 10 7857 + 80 2143 · Xt ,
(210 65) (60 34)
σ
b2 = 3210 4286.
2. En un modelo lineal dado por la expresión Yt = β0 + β1 Xt + ut del que se dispone de los
siguientes datos:
X
2
-4
7
Y
5
-1
8
Además se verifica que E[u] = 0 y E[uut ] = σ 2 Ω, siendo


3 −1 1
Ω =  −1 5 −1 
1 −1 3
Se pide:
a) Comente qué supuestos básicos del modelo lineal general no se verifica que en este
caso.
b) Estime el modelo anterior usando el modelo que considere oportuno.
Puesto que los elementos de la diagonal principal de Ω no son constantes y los restantes no nulos,
es claro que la perturbación aleatoria del modelo presentará los problemas de heteroscedasticidad y
autocorrelación. Por tanto, habrá que aplicar el método de los mı́nimos cuadrados generalizados para
resolver dichos problemas:
0
−1 −1
1 0000 10 6667
4
X t Ω−1 X
· X t Ω−1 y =
·
10 6667 170 0556
170 5
0
1 1946 −00 1167
4
20 7354
=
·
=
,
0
0
0
−0 1167
0 07
17 5
00 7588
βb =
6
donde se ha usado que


1 2
X =  1 −4  ,
1 7


5
y =  −1  ,
8
00 3889

00 0556
=
−00 1111

Ω−1
Luego, la estimación por MCG será Ybt = 20 7354 + 00 7588 · Xt .
7
00 0556
00 2222
00 0556

−00 1111
00 0556  .
00 3889