Estimación del modelo lineal con dos variables

Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Estimación del modelo lineal con dos variables
el método de mínimos cuadrados ordinarios (MCO)
Mariana Marchionni
marchionni.mariana@gmail.com
Mariana Marchionni
Estimación del modelo lineal por MCO
1 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Temario de la clase
1
Estimación del modelo lineal
2
Propiedades de los estimadores
3
Ejemplo empírico
Mariana Marchionni
Estimación del modelo lineal por MCO
2 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
El modelo lineal simple (2 variables)
Y
Y
i
= 1, ...N
: variable dependiente; X : variable explicativa.
α, β :
i:
u
i = α + β Xi + ui
parámetros desconocidos
término aleatorio, no observable
(carácter aleatorio por cuestiones de modelización)
Datos:
(Yi , Xi ) con i =1, ...N
Mariana Marchionni
Estimación del modelo lineal por MCO
3 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Estimación
Objetivo: estimar
α
y
β
a partir de
(Yi , Xi ) i = 1, ...N .
Notación y deniciones:
α̂
y
β̂−→
estimadores de
i ≡ α̂ + β̂ Xi −→
Ŷ
α
y
β
es la versión estimada de Yi
es como si hubiésemos reemplazado los parámetros por
estimaciones y a
µi
por su valor esperado
i ≡ Yi − Ŷi = Yi − (α̂ + β̂ Xi ) −→
e
error de estimación o
residuo. Es una suerte de estimación de
Mariana Marchionni
µi
Estimación del modelo lineal por MCO
4 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Representación gráca
Recordar que podemos representar los puntos
(Yi , Xi )
en el
plano Y , X
Consideremos la función de regresión estimada Ŷi
Elegir valores de
α̂
y
β̂
≡ α̂ + β̂ Xi
es equivalente a elegir una línea en el
plano Y , X
Mariana Marchionni
Estimación del modelo lineal por MCO
5 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Representación gráca
Mariana Marchionni
Estimación del modelo lineal por MCO
6 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
¾Cómo elegimos la línea?
Parece razonable elegir
α̂
y
β̂
de manera que la línea elegida pase lo
más cerca posible de todos los puntos
¾Qué signica que la línea esté cerca o lejos de los puntos?
Mariana Marchionni
Estimación del modelo lineal por MCO
7 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
¾Cómo elegimos la línea?
Parece razonable elegir
α̂
y
β̂
de manera que la línea elegida pase lo
más cerca posible de todos los puntos
¾Qué signica que la línea esté cerca o lejos de los puntos?
Mariana Marchionni
Estimación del modelo lineal por MCO
7 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
¾Cómo elegimos la línea?
Consideremos el siguiente criterio
SRC
(α̂, β̂) =
N
X
i =1
SRC:
2
i
e
Suma de los Residuos Cuadráticos
Es una medida global de los errores de estimación
(función de penalización)
¾Por qué errores al cuadrado?
Es una funcion de
SRC
≥ 0.
α̂
y
β̂ ,
por qué?
Es cero si y solo si...
Entonces SRC grande signica que los errores de estimación
son grandes
Mariana Marchionni
Estimación del modelo lineal por MCO
8 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Mariana Marchionni
Estimación del modelo lineal por MCO
9 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Mínimos Cuadrados Ordinarios (MCO)
Criterio de MCO: elegir
α̂
y
β̂
de manera de minimizar SRC
Formalmente:
Min
α̂,β̂
SRC
(α̂, β̂) =
CPO
:
N
X
i =1



(1)


(2)
2
i =
e
N
X
i =1
[Yi − (α̂ + β̂ Xi )]2
∂ SRC
∂ α̂
=0
∂ SRC
∂ β̂
=0
al pizarrón!
Mariana Marchionni
Estimación del modelo lineal por MCO
10 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Mínimos Cuadrados Ordinarios (MCO)
Criterio de MCO: elegir
α̂
y
β̂
de manera de minimizar SRC
Formalmente:
Min
α̂,β̂
SRC
(α̂, β̂) =
CPO
:
N
X
i =1



(1)


(2)
2
i =
e
N
X
i =1
[Yi − (α̂ + β̂ Xi )]2
∂ SRC
∂ α̂
=0
∂ SRC
∂ β̂
=0
al pizarrón!
Mariana Marchionni
Estimación del modelo lineal por MCO
10 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Los estimadores MCO
(3)
α̂ = Ȳ − β̂ X̄
N
P
(4)
i i − N Ȳ X̄
X Y
β̂ = i =1N
P
X
i =1
Mariana Marchionni
2
2
i − N X̄
Estimación del modelo lineal por MCO
11 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
La regresión estimada por MCO
Ŷ
i = α̂ + β̂ Xi
Mariana Marchionni
Estimación del modelo lineal por MCO
12 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Notación: variables en forma de desvíos
Denotemos: xi
= Xi − X̄
y yi
= Yi − Ȳ
Entonces (4) puede escribirse como:
N
P
0
(4 )
i i
x y
β̂ = i =N1
P
i =1
Mariana Marchionni
2
i
x
Estimación del modelo lineal por MCO
13 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Ejemplo: desempeño académico y tamaño de clase
Mariana Marchionni
Estimación del modelo lineal por MCO
14 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Ejemplo: desempeño académico y tamaño de clase
ˆ i
Regresión estimada: puntaje
Mariana Marchionni
= 698,9 − 2,28 × ratio _almai
Estimación del modelo lineal por MCO
15 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Propiedades algebraicas
Recordemos las ecuaciones normales del problema de Min SRC:
CPO
:



(1)
∂ SRC
∂ α̂
=
P
[Yi − (α̂ + β̂ Xi )] = 0


(2)
∂ SRC
∂ β̂
=
P
[Yi − (α̂ + β̂ Xi )]Xi = 0
Llamamos propiedades algebraicas de los estimadores a las que se
derivan de las CPO
Mariana Marchionni
Estimación del modelo lineal por MCO
16 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Algunas de las propiedades
1
2
3
PN
i =1 ei = 0
PN
i =1 ei Xi = 0 (⇒ Cov (X , e ) = 0)
Ŷ (X̄ ) = Ȳ
(⇒la recta de regresión
pasa por las medias
muestrales)
4
β̂ = rY ,X SY /SX
(relación entre el coeciente de regresión y el
de correlación)
5
Ȳ
6
r
= Ŷ¯
(la media de las estimaciones de Y coincide con Ȳ )
Ŷ ,e = 0
(la correlación entre las estimaciones de Y y los
residuos es nula)
Mariana Marchionni
Estimación del modelo lineal por MCO
17 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Bondad del ajuste del modelo:
R2
Regresión estimada como resumen de los datos: ¾cuán buen
resumen es?
Puede mostrarse que si se estima por MCO:
N
X
|i =1
(Yi − Ȳ )
{z
2
}
STC
=
=
N
X
|i =1
2
(Ŷi − Ȳ )
{z
SEC
}
+
+
N
X
2
i
i|={z
1
}
e
SRC
STC : Suma Total de Cuadrados, SEC : Suma Explicada de Cuadrados,
SRC : Suma de los Residuos al Cuadrado
Proponemos como medida de bondad del ajuste:
R
2
=
SEC
STC
Mariana Marchionni
=1−
SRC
STC
Estimación del modelo lineal por MCO
18 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Propiedades del
STC
0
R2
= SEC + SRC −→ R 2 = SEC /STC
≤ R2 ≤ 1
2
= 1:
relación lineal exacta entre Y y X .
2
R
= 0:
cero correlación entre Y y X .
R
la regresión estimada es una recta horizontal (β̂ = 0)
Importante: STC depende sólo de los datos, pero SEC y SRC
dependen del modelo y del método de estimación.
2
Dado el modelo, MCO minimiza SRC , es decir, maximiza R .
Mariana Marchionni
Estimación del modelo lineal por MCO
19 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
¾Cuán lejos está la recta estimada de los puntos? En ese sentido A
es bueno, B es peor, C es aún peor
De hecho, en A el ajuste es perfecto (R
Mariana Marchionni
2
= 1)
Estimación del modelo lineal por MCO
20 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
En el ejemplo de rendimiento académico
R
2
= 0,049
sólo 5 % de la variabilidad de los puntajes es explicada por el
tamaño de la clase
Mariana Marchionni
Estimación del modelo lineal por MCO
21 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Ejemplo: función de consumo keynesiana
En su Teoría general del interés, la ocupación y el dinero
(1936) Keynes estableció la existencia de una relación estable
entre el consumo y el ingreso agregados:
C
= f (I )
La propensión marginal a consumir es positiva y menor que 1:
0
<
dC
dI
<1
La propensión media a consumir cae cuando aumenta el
ingreso:
d
(C/I )
dI
<0
El consumo también depende de otras situaciones y de las
necesidades subjetivas, hábitos, etc. de una determinada
sociedad
Mariana Marchionni
Estimación del modelo lineal por MCO
22 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Modelo teórico
La formulación teórica más usual de la función de consumo es
la lineal:
C
= a + bI
¾Dónde estudiaron esta función?
Los postulados keynesianos se satisfacen si se cumple:
→0<b<1
→a>0
C
⇒ d (dI/I ) = −a/I 2 < 0
Estas proposiciones teóricas dan las bases para un estudio
empírico
Mariana Marchionni
Estimación del modelo lineal por MCO
23 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Una aplicación empírica
Datos de consumo e ingreso disponible de USA, 1970s
(Greene, Econometric Analysis, 4th edition, examples 1.1 & 6.1)
Mariana Marchionni
Estimación del modelo lineal por MCO
24 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Modelo empírico
Los datos se ajustan sólo aproximadamente a una relación
lineal exacta
⇒
la relación determinística es inadecuada
Para representar los datos proponemos el siguiente modelo
lineal:
C
a
+ bIi
i = a + bIi + µi
es la
con i
= 1970,
1971, ..., 1979
función de regresión: es la parte del consumo
que se determina sistemáticamente a partir del ingreso
µi
resume el efecto de los otros factores que afectan al
consumo agregado en cada año i más allá del ingreso. Se lo
considera como aleatorio por una cuestión de modelización. No
debería haber nada sistemático en el efecto de
µ
sobre el
consumo.
Mariana Marchionni
Estimación del modelo lineal por MCO
25 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Estimación del modelo por MCO
C
Ĉ
b̂
= 0,98:
i = a + bIi + µi
i = −67,6 + 0,98 Ii
por cada aumento de un millón de dólares del
ingreso disponible, el consumo aumentó en promedio en 0.98
millones de dólares en USA durante los 70s.
marginal al consumo
â
= −67,6:
Propensión
es el valor del consumo que deberíamos esperar si
el ingreso fuera cero.
Consumo autónomo
Cuidado con las conclusiones que surgen de extrapolar la
relación a valores de las variables fuera del rango de los datos
Estimaciones puntuales: necesario evaluar mediante tests
estadísticos
Mariana Marchionni
Estimación del modelo lineal por MCO
26 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
La regresión estimada
Mariana Marchionni
Estimación del modelo lineal por MCO
27 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
La hoja de cálculo
Notar: la suma de los errores de estimación es cero
Mariana Marchionni
Estimación del modelo lineal por MCO
28 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
La regresión estimada pasa por las medias muestrales
Mariana Marchionni
Estimación del modelo lineal por MCO
29 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Los errores de estimación suman cero y no estan
correlacionados con el ingreso
Mariana Marchionni
Estimación del modelo lineal por MCO
30 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Bondad del ajuste
R 2 = 0,99
el 99 % de la variabilidad del consumo en los 70s en USA puede
explicarse por la variabilidad del ingreso disponible
Mariana Marchionni
Estimación del modelo lineal por MCO
31 / 32
Estimación del modelo lineal
Propiedades de los estimadores
Ejemplo empírico
Mismas variables, otra década
Consumo e ingreso, USA, 1940s
Mariana Marchionni
Estimación del modelo lineal por MCO
32 / 32