Tema 1: Introducción: Generalización y Extensión del Modelo de

Tema 1: Introducción:
Generalización y Extensión
del Modelo de Regresión
1
Tema 1: Introducción: Generalización y
Extensión del Modelo de Regresión
1.1) Introducción.
1.2) Especificación del Modelo de Regresión Lineal.
1.3) Supuestos del Modelo Clásico de Regresión.
1.4) Estimación por MCO y MV.
1.5) Contraste y Validación de los Modelos.
1.6) Predicción.
1.7) Modelos No-Lineales y MCO No-Lineales.
2
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.1) INTRODUCCIÓN
- Objetivo de la Econometría.
- Tipos de Modelos según la Naturaleza de los Datos.
- Fases en la Investigación Econométrica:
1ª Fase: Especificación
2ª Fase: Hipótesis
3ª Fase: Estimación
4ª Fase: Contraste y Validación
5ª Fase: Predicción
-
3
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Objetivo de la Econometría
Contraste Empírico de los modelos económicos
construidos a partir de una teoría económica.
OBJETIVO DE LA
ECONOMETRÍA
Modelización de Fenómenos
Económico/Empresariales
4
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Objetivo de la Econometría y Tipos de Modelos
Corte Transversal
TEORÍA
ECONÓMICA
Tipos de
Modelos
Temporal
Datos de Panel
MODELO
Y=F(X)+U
FENÓMENO
ECONÓMICO
¿Es Válido?
NO
SÍ
¿Cómo Validarlo?
Predicción
Datos Reales
Estadística
Causalidad
5
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica
1ª Fase. Especificación del Modelo
- Definir
las Variables
Y
Variable Endógena o Explicada
X
Vector de K Variables Exógenas o Explicativas
X = ( x1 , x 2 ,..., x k )
- Especificar el tipo de relación entre Variables
Yi = α + β1 ⋅ x1i + ... + β k ⋅ x ki + U i
∀i = 1,...n
6
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica
2ª Fase. Hipótesis del Modelo
3ª Fase. Estimación de los Parámetros del Modelo
Yi = α + β1 ⋅ x1i + ... + β k ⋅ x ki + U i
α → αˆ
∀i = 1,...n
β → βˆ
La estimación se llevará a cabo
determinados método de optimización:
empleando
· Mínimos Cuadrados Ordinarios (MCO)
· Máxima Verosimilitud (MV)
7
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica
4ª Fase. Contrastes y validación
· Significatividad Estadística de los Coeficientes Estimados
· Coherencia en los Signos de los Coeficientes Estimados
· Interpretación de los Coeficientes Estimados
· Ajuste del Modelo (Coeficiente de Determinación)
5ª Fase. Predicción
8
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
Fenómeno Económico: Evolución de las Ventas de una Librería
AÑO
VOLUMEN DE
VENTAS
(miles de Euros)
90
80
27
23
31
45
47
42
39
45
57
59
73
84
70
VOLUMEN DE VENTAS (miles de euros)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
60
50
40
30
20
10
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
AÑO
9
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
1ª Fase. Especificación del Modelo.
- Definir
las Variables
Variable Endógena (Y): Ventas en miles de Euros
Variables Exógenas (X):
Factores
Demográficos
¿Qué Factores
pueden influir en las
ventas de la librería?
Población (+)
Ciclo Económico (+)
Factores
Económicos
Gastos en Publicidad (+)
Grado de Competencia
(-)
10
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
1ª Fase. Especificación del Modelo. Datos Empleados
AÑO
VOLUMEN DE
VENTAS
(miles de Euros)
GASTO EN
PUBLICIDAD
(miles de Euros)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
27
23
31
45
47
42
39
45
57
59
73
84
20
20
25
28
29
28
31
34
35
36
41
45
11
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
1ª Fase. Especificación del Modelo.
Yt = F ( X t ) + U t
∀t = 1996,..., 2007
· Yt : Es la Variable Endógena o Explicada
· X t : Es la Variable Exógena o Explicativa
· U t : Es la Perturbación del Modelo
· F : ℜ K → ℜ : Es la Forma Funcional del Modelo
12
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
1ª Fase. Especificación del Modelo.
- Especificar el Tipo de Relación entre las Variables
a) Relación Lineal Positiva:
Yt = β 0 + β1 ⋅ X t + U t ; β1 > 0
25
20
Y
15
10
5
0
0
2
4
6
X
8
10
12
13
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
1ª Fase. Especificación del Modelo.
- Especificar el Tipo de Relación entre las Variables
b) Relación Lineal Negativa: Yt = β 0 + β1 ⋅ X t + U t ; β1 < 0
12
10
Y
8
6
4
2
0
0
2
4
6
X
8
10
12
14
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
1ª Fase. Especificación del Modelo.
- Especificar el Tipo de Relación entre las Variables
b) No Relación: Yt = β 0 + U t ; β1 = 0
15
14
13
12
11
10
9
8
7
6
5
1
2
3
4
5
6
7
8
9
10
11
12
15
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
1ª Fase. Especificación del Modelo.
- Especificar el Tipo de Relación entre las Variables: Ejemplos de Formas No-Lineales
4
2.5
18
x 10
16
2
14
12
1.5
Y
Y
10
8
1
6
4
0.5
2
0
0
2
4
6
X
8
10
0
12
0
2
4
6
X
8
10
12
0
2
4
6
X
8
10
12
200
200
199.5
150
Y
Y
199
198.5
100
198
50
0
2
4
6
X
8
10
12
197.5
16
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
1ª Fase. Especificación del Modelo.
90
VOLUMEN DE VEMTAS (miles de Euros)
80
70
60
50
40
30
20
20
25
30
35
GASTO EN PUBLICIDAD (miles de euros)
40
45
17
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
1ª Fase. Especificación del Modelo.
ÁLGEBRA ORDINARIA: Yt =
ÁLGEBRA MATRICIAL:
β 0 + β1 ⋅ X t + U t
∀t = 1996,...,2007
Y(12 x1) = X (12 x 2 ) ⋅ β ( 2 x1) + U (12 x1)
 U1 
 Y1   27 
1 x1  1 20 



 
   

U
 2
 Y2   23 
1 x 2  1 20 
 . 
 .   . 
. .  . . 
 β0 



=
 ; β =β  ; U =
Y = =  ; X =
 1
 . 
 .   . 
. .  . . 
 . 
 .   . 
. .  

.
.


   

 


 Y   84 
1 x  1 45 
U12 

 12   
12 



ESTIMACIÓN!!
18
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
2ª Fase. Hipótesis del Modelo
U es una variable Aleatoria Ruido Blanco
ÁLGEBRA ORDINARIA
ÁLGEBRA MATRICIAL
E (U t ) = 0; ∀t
E (U ) =ϑ (12 X 1)
E (U t2 ) = σ u2 ; ∀t
E (U ⋅ U ' ) = σ u2 ⋅ I
E (U t ,U s ) = 0; ∀t ≠ s
y, además
d
y, además
Ut → N (0, σ )
2
u
d
U → N (ϑ , σ u2 ⋅ I )
19
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
3ª Fase. Estimación de los Parámetros del Modelo
 β0 
β =  
 β1 
PARÁMETROS DEL
MODELO
DESCONOCIDOS
ESTIMACIÓN
MODELO ESTIMADO
 βˆ0 
 − 23.02 
ˆ

β MCO =   = ( X '⋅ X ) −1 ⋅ X '⋅Y = 
ˆ
 2.28 
 β1 
Yt = βˆ 0 + βˆ1 ⋅ X t + et = −23.08 + 2.28 ⋅ X t + et
20
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
4ª Fase. Contrastar y Validar el Modelo
• ¿Es el Gasto en Publicidad una variable relevante para explicar el volumen
de ventas?
H 0 : β = 0

 H1 : β ≠ 0
• ¿Existen problemas de mala especificación del modelo? ¿Es la forma
funcional del modelo adecuada? ¿Se han omitido variables relevantes?
• ¿Se cumplen las hipótesis del modelo respecto al término perturbación?
• ¿Nuestro modelo ajusta bien los datos?
21
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN.
Fases en la Investigación Econométrica. Un Ejemplo
5ª Fase. Predicción
90
VOLUMEN DE VEMTAS (miles de Euros)
80
70
60
50
40
30
Volumen de Ventas (Y)
Volumen de Ventas Estimado
20
20
25
30
35
GASTO EN PUBLICIDAD (miles de euros)
40
45
22
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.2) ESPECIFICACIÓN DEL MODELO DE REGRESIÓN
LINEAL
- El Modelo de Regresión Lineal Múltiple (MRLM).
- Especificación del MRLM empleando el Álgebra
Ordinaria.
- Especificación del MRLM empleando el Álgebra
Matricial.
23
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.2) ESPECIFICACIÓN DEL MODELO DE REGRESIÓN LINEAL: El
Modelo de Regresión Lineal Múltiple (MRLM).
MODELO DE
REGRESIÓN SIMPLE
MODELO DE
REGRESIÓN MÚLTIPLE
Yi = β 0 + β1 ⋅ X i + U i
∀i = 1,2,..., n
La Variable endógena es explicada por K
Variables Explicativas
Yi = β 0 ⋅ X 0i + β1 ⋅ X 1i + β 2 ⋅ X 2i + ... + β k ⋅ X ki + U i
∀i = 1,2,..., n
24
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.2) ESPECIFICACIÓN DEL MODELO DE REGRESIÓN
LINEAL: El Modelo de Regresión Lineal Múltiple (MRLM).
Yi = β 0 ⋅ X 0i + β1 ⋅ X 1i + β 2 ⋅ X 2i + ... + β k ⋅ X ki + U i ∀i = 1,2,..., n
• Y Variable Endógena o Explicada
• (K+1) Variables Exógenas o Explicativas {X 0 , X 1 ,..., X k }
• (K+1) Parámetros que son desconocidos {β 0 , β1 ,..., β k }
• n Observaciones i = 1 , 2 ,..., n
{Y1 , Y2 ,..., Yn } ; {X 01 , X 02 ,..., X 0n } {X 11 , X 12 ,..., X 1n }
…
{X k1 , X k 2 ,..., X kn }
25
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.2) ESPECIFICACIÓN DEL MODELO DE REGRESIÓN
LINEAL: El Modelo de Regresión Lineal Múltiple (MRLM).
ÁLGEBRA ORDINARIA
• Para i=1: Y1 = β 0 ⋅ X 01 + β1 ⋅ X 11 + β 2 ⋅ X 21 + ... + β k ⋅ X k 1 + U1
• Para i=2: Y2 = β 0 ⋅ X 02 + β1 ⋅ X 12 + β 2 ⋅ X 22 + ... + β k ⋅ X k 2 + U 2
.
.
.
.
.
.
.
.
.
• Para i=n: Yn = β 0 ⋅ X 0 n + β1 ⋅ X 1n + β 2 ⋅ X 2 n + ... + β k ⋅ X kn + U n
n Ecuaciones y (k+1) Incógnitas
26
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.2) ESPECIFICACIÓN DEL MODELO DE REGRESIÓN
LINEAL: El Modelo de Regresión Lineal Múltiple (MRLM).
ÁLGEBRA MATRICIAL
Y( nx1) = X ( nx ( k +1)) ⋅ β (( k +1) x1) + U ( nx1)
 x01
 Y1 

 
 x 02
 Y2 
 .
 . 
Y = 
=
 .
 . 
 .
 . 

 

Y 
 n  ( nx 1)  x0 n
x11
x12
. . .
. . .
.
. . .
.
. . .
.
x1n
. . .
. . .
xk1 
 U1 
 β0 
 

 
xk 2 
U 2 
 β1 
 . 
 . 
. 

+ 
⋅ 
. 
 . 
 . 
 . 
 . 
. 
 
 



x kn  ( nx ( k +1))  β k  (( k +1 x1))  U n  ( nx 1)
27
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.3)
SUPUESTOS
REGRESIÓN
DEL
MODELO
CLÁSICOS
DE
- Hipótesis del Modelo de Regresión Lineal Clásico
- Restricciones (algunos comentarios sobre las hipótesis)
28
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.3) SUPUESTOS
REGRESIÓN.
Hip. 1
Hip. 2
DEL
MODELO
CLÁSICOS
DE
X es una MATRIZ NO ESTOCÁSTICA
Perturbación
E (U i ) = 0; ∀i
E (U i2 ) = σ u2 ; ∀i
E (U i ·U s ) = 0; ∀i ≠ s
Hip. 3
Hip. 4
Epecificación LINEAL
d
Ui → N (0, σ u2 )
29
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.3) SUPUESTOS
REGRESIÓN.
DEL
MODELO
CLÁSICOS
DE
RESTRICCIONES
1. Información Estadística Suficiente: n ≥ ( k + 1)
2. Los Parámetros del Modelo son Constantes.
3. Fuerte Restricción Funcional al Asumir Linealidad.
4. La única Fuente de Aleatoriedad de la Endógena es U.
5. No suele existir una Combinación Lineal Exacta entre
Variables.
6. E (U i ) = 0; ∀i no es una restricción fuerte.
30
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.3) SUPUESTOS
REGRESIÓN.
DEL
MODELO
CLÁSICOS
DE
RESTRICCIONES
2
2
E
(
U
)
=
σ
6.
i
u ; ∀i Hipótesis restrictiva ya que es frecuente
encontrarnos con HETEROCEDASTICIDAD.
7. E (U i ·U s ) = 0; ∀i ≠ s es la más restrictiva. Es común
encontrarnos con problemas de AUTOCORRELACIÓN.
31
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4) ESTIMACIÓN POR MÍNIMOS CUADRADOS ORDINARIOS Y MÁXIMA
VEROSIMILITUD
- Mínimos Cuadrados Ordinarios
· Obtención de los Estimadores MCO
· Propiedades de los Estimadores MCO
Lineales
Insesgados
Matriz de Varianza-Covarianza
Normalidad
Consistencia
Eficiencia: Teorema de Gauss-Markov
· Estimación de la Varianza del Término de Perturbación
- Máxima Verosimilitud
32
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
Y( nx1) = X ( nx ( k +1)) ⋅ β (( k +1) x1) + U ( nx1)
Y( nx1) = X ( nx ( k +1)) ⋅ βˆ(( k +1) x1) + e( nx1)
Yi = βˆ0 ⋅ X 0i + βˆ1 ⋅ X 1i + βˆ 2 ⋅ X 2i + ... + βˆ k ⋅ X ki + ei
βˆ MCO = ( X '⋅ X ) −1 ⋅ X '⋅Y
33
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
n
n
n


2
2
Min SCE = ∑ ei = ∑ (Yi − Yˆi ) = ∑ (Yi − βˆ0 ⋅ X 0i − βˆ1 ⋅ X 1i − ... − βˆ k ⋅ X ki ) 2 
{βˆMCO } 
i =1
i =1
i =1

C.P.O :
 n

∂ ∑ (Yi − βˆ0 ⋅ X 0i − βˆ1 ⋅ X 1i − ... − βˆ k ⋅ X ki ) 2 
 i =1
 =0
∂βˆ j
∂SCE
= 0;
ˆ
∂β j
n
2 ⋅ ∑ (Yi − βˆ 0 ⋅ X 0i − βˆ1 ⋅ X 1i − ... − βˆ k ⋅ X ki ) ⋅ (− X ji ) = 0
i =1
n
∑Y ⋅ X
i
i =1
ji
n
n
n
i =1
i =1
i =1
= βˆ 0 ⋅ ∑ X 0i ⋅ X ji + βˆ1 ⋅ ∑ X 1i ⋅ X ji + ... + βˆ k ⋅ ∑ X ki ⋅ X ji
34
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
n
∑Y ⋅ X
i
ji
n
Para j=1
n
i =1
i =1
i =1
n
n
n
i =1
i =1
i =1
i =1
n
n
n
n
i =1
i =1
∑Y ⋅ X
i
∑Y ⋅ X
i
i =1
Para j=K
n
= βˆ 0 ⋅ ∑ X 0i ⋅ X ji + βˆ1 ⋅ ∑ X 1i ⋅ X ji + ... + βˆ k ⋅ ∑ X ki ⋅ X ji
i =1
Para j=0
n
n
oi
1i
= βˆ 0 ⋅ ∑ X 0i ⋅ X 0 i + βˆ1 ⋅ ∑ X 1i ⋅ X 0i + ... + βˆ k ⋅ ∑ X ki ⋅ X 0i
= βˆ 0 ⋅ ∑ X 0i ⋅ X 1i + βˆ1 ⋅ ∑ X 1i ⋅ X 1i + ... + βˆ k ⋅ ∑ X ki ⋅ X 1i
i =1
·
·
·
·
·
·
n·
n
n·
i =1
i =1
i =1
∑Y ⋅ X
i
ki
·
= βˆ 0 ⋅ ∑ X 0i ⋅ X ki + βˆ1 ⋅ ∑ X 1i ⋅ X ki + ... + βˆ k ⋅ ∑ X ki ⋅ X ki
i =1
( X '⋅Y )(( K +1) x1)
=
( X '⋅ X )(( K +1) x ( K +1)) ·
βˆ(( K +1) x1)
35
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
 n

 ∑ Yi ⋅ X 0i 
 i =1

n


⋅
Y
X
 ∑ i 1i 
 i =1

.




.


.
 n

 Y ⋅X 
Ki 
∑ i
 i =1

=
 n
 ∑ X 0i ⋅ X 0i
 i =1
 n
 ∑ X 1i ⋅ X 0i
 i =1
.


.

.
 n
 X ⋅X
0i
 ∑ Ki
 i =1
n
∑X
0i
⋅ X 1i
. . .
1i
⋅ X 1i
. . .
i =1
n
∑X
i =1
.
. . .
.
.
. . .
. . .
n
∑X
i =1
Ki
⋅ X 1i

⋅ X Ki 
i =1
  βˆ0 
n
 βˆ
 1
⋅
X
X
∑
Ki 
1i
i =1
  . 
.
⋅
  . 
.
  . 
.
  
n
βˆ K 


X Ki ⋅ X Ki 
∑
i =1

n
. . .
∑X
0i
( X '⋅Y )(( K +1) x1) = ( X '⋅ X ) (( k +1) x ( k +1)) ⋅ βˆ(( K +1) x1)
( X '⋅ X ) ((−1K +1) x ( K +1)) ⋅ ( X '⋅Y )(( K +1) x1) = ( X '⋅ X ) ((−1K +1) x ( K +1)) ⋅ ( X '⋅ X ) (( k +1) x ( k +1)) ⋅ βˆ(( K +1) x1)
βˆ MCO = ( X '⋅ X ) −1 ⋅ ( X '⋅Y )
36
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
EJEMPLO: Volumen de Ventas de una Librería
VOLUMEN DE
VENTAS (Y)
AÑO
(miles de Euros)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
27
23
31
45
47
42
39
45
57
59
73
84
GASTO EN PUBLICIDAD
(miles de Euros)
(X1)
COMPETENCIA
(miles de Euros)
(X2)
20
20
25
28
29
28
31
34
35
36
41
45
10
15
15
15
20
25
35
35
20
30
20
20
37
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
EJEMPLO: Volumen de Ventas de una Librería
ETAPA 1. Especificación del Modelo
Yt = β 0 ⋅ X 0t + β1 ⋅ X 1t + β 2 ⋅ X 2t + U t
∀t = 1996,...,2007
Y = X ·β + U
ETAPA 2. Hipótesis del Modelo
1-. X es una MATRIZ NO ESTOCÁSTICA
2-. Propiedades de la Perturbación:
3-. Especificación Lineal
4-. Normalidad de la Perturbación
E (U t ) = 0; ∀t
E (U t2 ) = σ u2 ; ∀t
E (U t ·U s ) = 0; ∀t ≠ s
d
Ut → N (0, σ u2 )
38
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
EJEMPLO: Volumen de Ventas de una Librería
ETAPA 3. Estimación: Datos Muestrales
 Y1996   27 

  
 Y1997   23 
 Y   31 
 1998   
 Y1999   45 
Y   
 2000   47 
 Y   42 
Y =  2001  =  
 Y2002   39 
 Y2003   45 

  
 Y2004   57 
 Y   59 
 2005   
 Y2006   73 
 Y   84 
 2007   
 x0,1996

 x0,1997
x
 0,1998
 x0,1999
x
 0, 2000
 x0, 2001
X =
 x0, 2002
 x0, 2003

 x0, 2004
x
 0, 2005
 x0, 2006
x
 0, 2007
x1,1996
x1,1997
x1,1998
x1,1999
x1, 2000
x1, 2001
x1, 2002
x1, 2003
x1, 2004
x1, 2005
x1, 2006
x1, 2007
x2,1996  1
 
x2,1997  1
x2,1998  1
 
x2,1999  1
x2, 2000  1

x2, 2001  1
=
x2, 2002  1
x2, 2003  1
 
x2, 2004  1
x2, 2005  1
 
x2, 2006  1
x2, 2007  1
20 10 

20 15 
25 15 

28 15 
29 20 
28 25 

31 35 
34 35 

35 20 
36 30 

41 20 
45 20 
39
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
EJEMPLO: Volumen de Ventas de una Librería
ETAPA 3. Estimación: Modelo Regresión Muestral
Y = X ·β̂ + e
 27 
 
 23 
 31 
 
 45 
 47 
 
 42 
 
 39 
 45 
 
 57 
 59 
 
 73 
 84 
 
1

1
1

1
1

1
=
1
1

1
1

1
1

20 10 
 e1996 



e
20 15 
 1997 
e 
25 15 
 1998 

28 15 
 e1999 
e 
29 20 
 βˆ0   2000 
28 25     e2001 

 ⋅  βˆ1  + 
31 35     e2002 
βˆ2
34 35     e2003 



e
35 20 
 2004 
e 
36 30 
 2005 

41 20 
 e2006 
e 
45 20 
 2007 
40
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
EJEMPLO: Volumen de Ventas de una Librería
ETAPA 3. Estimación MCO
βˆ MCO = ( X '⋅ X ) −1 ⋅ ( X '⋅Y )
=
−1
=

 27 
1 20 10  

 



 23 
1 20 15  

 31 
1 25 15  

 



 45 
1 28 15  

 
1 29 20  
 1 1 1 1 1 1 1 1 1 1 1 1  
   1 1 1 1 1 1 1 1 1 1 1 1   47 

  42 
 1 28 25   
  20 20 25 28 29 28 31 34 35 36 41 45  ⋅ 
  ⋅  20 20 25 28 29 28 31 34 35 36 41 45  ⋅  
  10 15 15 15 20 25 35 35 20 30 20 20  1 31 35    10 15 15 15 20 25 35 35 20 30 20 20   39 
  45 
 1 34 35   


 



 57 
1 35 20  

 59 
1 36 30  

 



 73 
1 41 20  

 84 
1 45 20  
 



41
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
EJEMPLO: Volumen de Ventas de una Librería
ETAPA 3. Estimación MCO
βˆ MCO = ( X '⋅ X ) ⋅ ( X '⋅Y )
−1
=
=
=
12
372
260
372
12178
8350
260
8350
6350
1.6734 -0.0421 -0.0132
-0.0421 0.0019 -0.0008
-0.0132 -0.0008 0.0017
-18.7958
2.5248
-0.5449
-1
572
19205
12735
=
572
19205
12735
=
 βˆ 0 
 
=  βˆ1 
 βˆ 
 2
42
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
PROPIEDADES DE LOS ESTIMADORES MCO:
1- Lineales: Los Estimadores MCO son una Combinación
Lineal de los valores de la variable endógena. βˆ MCO = W ⋅ Y
Demostración:
βˆ MCO = ( X '⋅ X ) −1 ⋅ X '⋅Y = W = ( X '⋅ X ) −1 ⋅ X ' = W ⋅ Y
43
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
PROPIEDADES DE LOS ESTIMADORES MCO:
2- Insesgados: E ( βˆ MCO ) = β
Demostración:
βˆMCO = ( X '⋅ X ) −1 ⋅ X '⋅Y = Y = X ⋅ β + U = ( X '⋅ X ) −1 ⋅ X '⋅( X ⋅ β + U ) =
= ( X '⋅ X ) −1 ⋅ X '⋅ X ⋅ β + ( X '⋅ X ) −1 ⋅ X '⋅U = β + ( X '⋅ X ) −1 ⋅ X '⋅U
−1
E (βˆMCO ) = E (β + ( X '⋅ X ) −1 ⋅ X '⋅U ) = X no Estocástica = β + ( X '⋅ X ) ⋅ X '⋅E (U ) =
= E (U ) = ϑ = β
44
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4) ESTIMACIÓN POR MÍNIMOS CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
PROPIEDADES DE LOS ESTIMADORES MCO:
3- Matriz de Varianzas-Covarianzas: Var ( βˆ MCO ) = σ 2 ⋅ ( X '⋅ X ) −1
 Var(βˆ0 )
Cov(βˆ0 , βˆ1 )

Var(βˆ1 )
 Cov(βˆ1 , βˆ0 )

.
.
Var(βˆ ) = 

.
.

.
.

 Cov(βˆ , βˆ ) Cov(βˆ , βˆ )
K
0
K
1

Demostración
σ βˆ0 ,βˆ1
. . . Cov(βˆ0 , βˆK )   σ βˆ0

σ β2ˆ1
. . . Cov(βˆ1 , βˆK )   σ βˆ1 , βˆ0
  .
.
. . .
.
 =
.
  .
. . .
.


.
.
. . .
.
 
. . . Var(βˆK )  σ βˆK , βˆ0 σ βˆK , βˆ1
2
. . . σ βˆ0 ,βˆK 

. . . σ βˆ1 ,βˆK 1 

. . .
. 
−1
= σ U2 ⋅ ( X '⋅ X )
. . .
. 

. . .
. 
. . . σ β2ˆK 
45
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
PROPIEDADES DE LOS ESTIMADORES MCO:
d
4- Normalidad: βˆ MCO → N ( β , σ u2 ⋅ ( X '⋅ X )−1 )
Demostración:
βˆMCO = ( X '⋅ X ) −1 ⋅ X '⋅Y = β + ( X '⋅ X ) −1 ⋅ X '⋅U
d
U → N (0, σ u2 ⋅ I )
E (βˆMCO ) = β
Var ( βˆ MCO ) = σ 2 ⋅ ( X '⋅ X ) −1
d
βˆ MCO → N ( β , σ u2 ⋅ ( X '⋅ X )−1 )
46
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
PROPIEDADES DE LOS ESTIMADORES MCO:
βˆ MCO = β
5- Consistencia: lim
n→∞
Demostración:
lim βˆ = βˆ = β + ( X '⋅ X ) −1 ⋅ X '⋅U = l im (β + ( X '⋅ X ) −1 ⋅ X '⋅U ) =
n →∞
n →∞
−1
  X '⋅ X  −1 X '⋅U 
 = lim X '⋅ X  = ∑−1 , lim X '⋅U = 0 =
= β + l im  
⋅

XX
 n →∞ n 
n →∞
n →∞
n
n
n




−1
= β + ∑ XX ⋅ 0 = β
47
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
PROPIEDADES DE LOS ESTIMADORES MCO:
Var (βˆMCO ) = 0
5- Consistencia: lim
n →∞
Demostración:
lim Var (βˆMCO ) = Var (βˆ MCO ) = σ u2 ⋅ ( X '⋅ X ) −1 =
n →∞
(
= lim σ ⋅ ( X '⋅ X )
n →∞
=ϑ
2
u
−1
)
σ
−1
 X '⋅ X 
=
= lim
⋅

n →∞ n
 n 
2
u
48
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
PROPIEDADES DE LOS ESTIMADORES MCO:
6- Eficiencia: Los Estimadores MCO son los de menor
varianza de entre todos aquellos estimadores lineales e
insesgados (TEOREMA DE GAUSS-MARKOV).
LOS ESTIMADORES MCO SON ELIO (ESTIMADORES
LINEALES, INSESGADOS Y ÓPTIMOS).
Demostración:
49
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
Los Estimadores MCO son los de menor varianza
f ( βˆ )
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
-2
-1
0
1
2
3
4
5
6
β̂
50
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
Los Estimadores MCO son los de menor varianza
f ( βˆ )
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
-2
-1
0
1
2
3
4
5
6
β̂
51
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
Los Estimadores MCO son los de menor varianza
f ( βˆ )
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
-2
-1
0
1
2
3
4
5
6
β̂
52
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
PROPIEDADES DE LOS ESTIMADORES MCO: Resumen
1- Lineales βˆ MCO = W ⋅ Y
2-. Insesgados
E ( βˆ MCO ) = β
3-. Matriz de Varianzas-Covarianzas
4-. Distribución Normal
Var ( βˆ MCO ) = σ 2 ⋅ ( X '⋅ X ) −1
d
βˆ MCO → N (0, σ u2 ⋅ ( X '⋅ X )−1 )
5-. Eficiencia: MCO Estimadores Óptimos
6-. Consistencia
lim βˆ MCO = β
n →∞
53
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
ESTIMACIÓN DE LA VARIANZA DEL TÉRMINO DE PERTURBACIÓN:
Y = X ·β + U
Y = X ·β̂ + e
−1
Var ( βˆ ) = σ U2 ⋅ ( X '⋅ X )
MUESTRA
(Valores de Y y de
X representativos
de la Población)
2
e
e'⋅e
σ̂U2 = S 2 = ∑ i =
i=1 n − k −1 n − k −1
n
βˆMCO = ( X '⋅ X ) −1 ⋅ X '⋅Y
54
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
ESTIMACIÓN POR MÁXIMA VEROSIMILITUD:
1.
Los Estimadores MV sirven para estimar cualquier tipo de
modelos, sean lineales o no-lineales.
2. No se basan en los errores de regresión sino en la
distribución de las variables aleatorias del modelo (Y, U).
3. Al igual que MCO, MV se basa en un proceso de
optimización pero mucho más complejo desde un punto
de vista matemático.
55
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
ESTIMACIÓN POR MÁXIMA VEROSIMILITUD:
Y = X ·β + U
DESCONOCIDO
ESTIMACIÓN:
β̂
Y = X ⋅ β + U = f (U )
d
Y 2 → N ( µ , σ U2 )
d
µ = X ⋅β
Var (Y ) = σ U2 ⋅ I
d
QUE MAXIMICE LA PROBABILIDAD DE OBTENER
d
UNA MUESTRA.
Y1 → N ( µ , σ U2 )
U → N (ϑ , σ ⋅ I )
2
U
.
.
Y → N ( µ , σ U2 ⋅ I )
d
.
Yn → N ( µ ,σ
56
2
U
)
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
ESTIMACIÓN POR MÁXIMA VEROSIMILITUD:
{Y1 , Y2 ,..., Yn }
Dada una muestra
, el método de
MV consiste en encontrar aquéllos valores de β̂ que
maximicen la probabilidad de obtener esta muestra y
no otra.
57
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4)
ESTIMACIÓN
POR
MÍNIMOS
CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
ESTIMACIÓN POR MÁXIMA VEROSIMILITUD:
PROCEDIMIENTO:
1. Las observaciones de
Y son independientes
La FUNCIÓN DE PROBABILIDAD
CONJUNTA es igual al producto de las
FUNCIONES
DE
DENSIDAD
INDIVIDUALES
f (Y1 , Y2 ,..., YN ) = f (Y1 ) ⋅ f (Y2 ) ⋅ ... ⋅ f (Yn )
2. Función de Densidad de una Variable Aleatoria Normalmente Distribuida
−1
⋅(Yi − µ )
1
2⋅σ 2
f (Yi ) =
⋅e
σ ⋅ 2 ⋅π
2
58
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4) ESTIMACIÓN POR MÍNIMOS CUADRADOS
ORDINARIOS Y MÁXIMA VEROSIMILITUD.
ESTIMACIÓN POR MÁXIMA VEROSIMILITUD:
PROCEDIMIENTO:
3. La Función de Probabilidad Conjunta será:
(
f Y1 , Y2 ,..., Yn ; µ , σ
2
)
−1
⋅(Yi − µ )2
1
2
= f (Y1 ) ⋅ f (Y2 ) ⋅ ... ⋅ f (Yn ) = Π f (Yi ) = Π
⋅ e 2⋅σ
i =1
i =1 σ ⋅ 2 ⋅ π
=
n
(σ ⋅
1
2 ⋅π
−1
)
n
⋅ e 2⋅σ
⋅
2
n
=
n
∑ (Yi − µ )2
i =1
=
El objetivo es encontrar aquellos valores de µ y σ
La probabilidad de obtener concretamente
L
Función de Verosimilitud
2
que maximicen f (Y1 , Y2 ,..., Yn ; µ , σ 2 )
{Y1 , Y2 ,..., Yn }
59
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.4) ESTIMACIÓN POR MÍNIMOS CUADRADOS ORDINARIOS Y
MÁXIMA VEROSIMILITUD.
ESTIMACIÓN POR MÁXIMA VEROSIMILITUD:
EJEMPLO: MODELO DE REGRESIÓN SIMPLE
Yi = β 0 + β 1 ⋅ X i + U i
n
Max = {L} =
{βˆ ,σˆ }
(
1
2 ⋅π ⋅σ 2
)
n
⋅e
−1
2
⋅ (Yi − βˆ0 − βˆ1 ⋅ X i )
2
2⋅σ i =1
∑
n
−n
n
2
1
2
ˆ
ˆ
(
)
Max = {log( L )} =
⋅ log( 2 ⋅ π ) − ⋅ log(σ ) −
⋅
Y
−
β
−
β
⋅
X
∑
0
1
i
{βˆ ,σˆ }
2
2
2 ⋅ σ 2 i =1
C.P.O:
∂ log( L )
=0
∂βˆ0
βˆ0MCO = βˆ0MV
∂ log( L )
=0
∂βˆ1
βˆ1MCO = βˆ1MV
∂ log( L )
=0
∂σ 2
σˆ MCO = σˆ 2
MV
60
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
Se verificará la validez de un modelo a partir de:
1. La Interpretación de los Coeficientes Estimados
- Concordancia del Signo
- Interpretación del Coeficiente
2. Los
Coeficientes
Estimados
ESTADÍSTICAMENTE SIGNIFICATIVOS.
deben
ser
- Contraste de Significación Individual
- Contraste de Significación Conjunta
3. Una Elevada Bondad de Ajuste (Coeficiente de Determinación
Elevado).
61
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
1. La Interpretación de los Coeficientes Estimados
EJEMPLO: Volumen de Ventas de una Librería
Yt = β 0 ⋅ X 0t + β1 ⋅ X 1t + β 2 ⋅ X 2t + U t
X1
GASTO EN PUBLICIDAD (Miles de Euros)
X2
COMPETENCIA (Miles de Euros)
Yt = −18.79 + 2.52 ⋅ X 1t − 0.55 ⋅ X 2t + et
∀t = 1996,...,2007
∀t = 1996,...,2007
62
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
1. La Interpretación de los Coeficientes Estimados
- Concordancia del Signo: El Signo de los Coeficientes
Estimados determina el efecto positivo o negativo de la
variable explicativa sobre el regresando.
• ¿SON
LOS SIGNOS OBTENIDOS POR
COEFICIENTES ESTIMADOS
IGUALES
A
ESPERADOS A PRIORI?
LOS
LOS
• ¿SON COHERENTES?
• ¿ESTÁN DE ACUERDO CON LA TEORÍA ECONÓMICA?
63
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
1. La Interpretación de los Coeficientes Estimados
- Interpretación del Coeficiente Estimado: Bajo la Cláusula
Ceteris Paribus, el coeficiente estimado mide el efecto
parcial de la Variable Explicativa sobre la Variable
Dependiente.
Yt = βˆ0 + βˆ1 ⋅ X 1i + βˆ2 ⋅ X 2i + ... + βˆ j ⋅ X ji + ... + βˆk ⋅ X ki + ei
∂Yi
ˆ
βj =
∂X ji
∀i = 1,..., n
∀j = 1,..., K
64
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
1. La Interpretación de los Coeficientes Estimados
PREGUNTA: ¿Cuanto mayor es el valor del coeficiente
estimado, mayor será la capacidad explicativa de esa
variable?
?
↑ βˆ j ⇒↑ Importancia de X j
EN EL EJEMPLO:
abs( βˆ1 ) = 2.52 > abs( βˆ2 ) = 0.55
X1
más relevante que
X2?
65
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
1. La Interpretación de los Coeficientes Estimados
PREGUNTA: ¿Cuanto mayor es el valor del coeficiente
estimado, mayor será la capacidad explicativa de esa
variable?
NO!!! SE DEBE EXPRESAR EN UNIDADES EQUIVALENTES.
PROCEDIMIENTO:
Yi − Y
σY
= βˆ2* ⋅
βˆ = βˆ j ⋅
*
j
σX
σY
j
X 1i − X 1
σX
+ ... + βˆK* ⋅
1
∀j = 1,..., K
X Ki − X K
σX
+ ei
K
Es el COEFICIENTE BETA y su valor sí es
indicativo de la importancia relativa de las
66
variables explicativas.
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
1. La Interpretación de los Coeficientes Estimados. Los Coeficientes
Beta.
Yt = −18.79 + 2.52 ⋅ X 1t − 0.55 ⋅ X 2t + et
Yi − Y
σY
βˆ1* = βˆ1 ⋅
∀t = 1996,...,2007
X − X1
X − XK
= βˆ2* ⋅ 1i
+ ... + βˆK* ⋅ Ki
+ ei
σX
1
σX
σX
7.66
= 2.5248 ⋅
= 1.0677
σY
18.1225
1
MCO
βˆ2* = −0.2427
K
βˆ2* = βˆ2 ⋅
βˆ1* = 1.0677
σX
8.0716
= ( −0.55) ⋅
= −0.2427
67
σY
18.1225
2
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis
Consiste en establecer algún supuesto sobre el verdadero valor del parámetro β
E (U t ) = 0; ∀t
d
βˆ MCO → N ( β , σ U2 ⋅ ( X '⋅ X ) −1 )
E (U ) = σ ; ∀t
2
t
2
u
E (U t , U s ) = 0; ∀t ≠ s
d
Ut → N (0, σ u2 )
E (U ⋅ U ' ) = σ u2 ⋅ I
o
d
βˆ j → N ( β j , σ U2 ⋅ a jj )
68
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis: Existen 2 Tipos de Contraste
a) Contraste de Significación Individual
H 0 : β j = a

H1 : β j ≠ a
Se hace una suposición sobre un parámetro
determinado
b) Contraste de Significación Conjunta
 H 0 : β 0 = β1 = ... = β K = a

 H1 : algún β j ≠ a
Se hace una suposición sobre un conjunto de
parámetros.
69
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis:
a) Contraste de Significación Individual:
Yi = β 0 + β1 ⋅ X 1i + β 2 ⋅ X 2i + ... + β k ⋅ X ki + U i
PREGUNTA:
 H 0 : β j = 0

 H1 : β j ≠ 0
∀i = 1,2,..., n
¿Es X j una variable estadísticamente significativa
para explicar Y ?
T-estadístico:
t=
βˆ j
S βˆ j
Coeficiente
Estimado
Desviación Típica
70
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis:
a) Contraste de Significación Individual:
 H 0 : β j = 0

 H1 : β j ≠ 0
t=
βˆ j
S βˆ
d
→ t n − K −1
j
Región
Aceptación
(1 − α )
α
2
tn −K −1,α
2
− tn − K −1,α
2
Valores Críticos
n −K −1,α
0
2
α
2
n −K −1,α
2
71
72
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis:
EJEMPLO: Volumen de Ventas de una Librería
 H 0 : β1 = 0

 H1 : β1 ≠ 0
Región
Aceptación
(1 − α )
t=
βˆ1
S βˆ
1
2.52
=
= 19.48
0.1296
-2.26
0
2.26
t=19.48
73
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis:
EJEMPLO: Volumen de Ventas de una Librería
H 0 : β 2 = 0

 H1 : β 2 ≠ 0
Región
Aceptación
(1 − α )
t=
βˆ2
S βˆ
2
− 0.5449
=
= −4.44
0.1227
-2.26
0
2.26
t=-4.44
74
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis: Intervalos de Confianza
 βˆ − β



βˆ j − β j
j
j
1 − α = P
≤ t n − k −1,α  = P − t n − k −1,α ≤
≤ t n − k −1,α  =
2
2
2
 S βˆ
S βˆ

j
j




= P  βˆ j − S βˆ ⋅ t n − k −1,α ≤ β j ≤ βˆ j + S βˆ ⋅ t n − k −1,α 
j
j

2
2

IC0.95 =  βˆ j ± S βˆ ⋅ t n − k −1,α 
j
2

75
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis: Intervalos de Confianza
EJEMPLO: Volumen de Ventas de una Librería
[
]
IC0.95 = βˆ1 − S βˆ ⋅ t n −k −1 , βˆ1 + S βˆ ⋅ t n −k −1 = [2.22, 2.81]
1
1
β1 ∈ [2.22, 2.81]
[
]
IC0.95 = βˆ2 − S βˆ2 ⋅ t n− k −1 , βˆ2 + S βˆ2 ⋅ t n −k −1 = [− 0.822, - 0.2670]
β 2 ∈ [− 0.822, - 0.2670]
76
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis:
b) Contraste de Significación Conjunta:
 H 0 : β 0 = β1 = ... = β k = 0

 H1 : A lg ún β j ≠ 0
Valor Crítico: FK +1,n − K −1,α
Y '⋅Y − e'⋅e
d
1
K
+
F=
→ FK +1,n − K −1
e'⋅e
n − K −1
Región
Aceptación
α
(1 − α )
FK +1, n − K −1,α
77
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis:
b) Contraste de Significación Conjunta:
ATENCIÓN!!! La hipótesis de nulidad de todos los parámetros no
parece ser muy realista al incluir β 0 ; tiene más sentido el contraste
 H 0 : β1 = ... = β k = 0

 H1 : A lg ún β j ≠ 0
Y& '⋅Y& − e'⋅e
d
K
F=
→ FK ,n − K −1
e'⋅e
n − K −1
n
2
en donde Y& '⋅Y& = ∑ (Yi − Y ) = Y '⋅Y − n ⋅ Y 2
i =1
78
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis:
EJEMPLO: Volumen de Ventas de una Librería
 H 0 : β 0 = β1 = ... = β k = 0

 H1 : A lg ún β j ≠ 0
FK +1,n − K −1,α = F3,9, 0.05 = 3.8626
Y '⋅Y − e'⋅e 30878 − 79.8025
3
F = K +1 =
= 1157
e'⋅e
79.8025
n − K −1
9
Región
Aceptación
FK +1, n − K −1,α
79
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
2. Contraste de Hipótesis:
EJEMPLO: Volumen de Ventas de una Librería
 H 0 : β1 = ... = β k = 0

 H1 : A lg ún β j ≠ 0
FK ,n − K −1,α = F2,9, 0.05 = 4.256
Y& '⋅Y& − e'⋅e 3612.7 − 79.8025
K
2
F=
=
= 199.21
e'⋅e
79.8025
n − K −1
9
Región
Aceptación
FK +1, n − K −1,α
80
81
82
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
3. Bondad de Ajuste del Modelo: El Coeficiente de Determinación R2
100
90
VOLUMEN DE VENTAS (miles de Euros)
80
70
60
50
40
30
20
10
0
15
20
25
30
35
GASTO EN PUBLICIDAD (miles de euros)
40
45
50
83
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
3. Bondad de Ajuste del Modelo: El Coeficiente de Determinación R2
100
90
VOLUMEN DE VENTAS (miles de Euros)
80
70
60
Media (Y ) = 47.66
50
40
30
20
10
0
15
20
25
30
35
GASTO EN PUBLICIDAD (miles de euros)
40
45
50
84
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
100
Yˆt = −23.019 + 2.28 ⋅ X t
90
e12 = Y12 −Ŷ12
VOLUMEN DE VENTAS (miles de Euros)
80
70
Yˆ12 − Y
60
50
40
30
Y12 − Y = (Yˆ12 − Y ) + (Y12 − Yˆ12 )
20
10
0
15
20
25
30
35
GASTO EN PUBLICIDAD (miles de euros)
40
45
50
85
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
3. Bondad de Ajuste del Modelo: El Coeficiente de Determinación R2
n
n
= ∑ (Yˆi − Y )
∑ (Y − Y )
2
i
i =1
2
i =1
Variación Total (VT)
n
2
ˆ
∑ (Yi − Yi )
+
i =1
= Variación Explicada (VE) + Variación No Explicada (VR)
El Coeficiente de Determinación R2
n
R2 =
VE
=
VT
n
∑ (Yˆ − Y )
i
i =1
n
2
∑ (Yi − Y )
i =1
∑e
2
R2 = 1−
VR
= 1−
VT
2
i
i =1
n
∑ (Y
i
i =1
−Y )
= 1−
2
SCE
Y '⋅Y − n ⋅ Y 2
86
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
3. Bondad de Ajuste del Modelo: El Coeficiente de Determinación R2
• Ventajas:
1) Es una Medida Invariante ante Cambios de Escala o Unidades de Medida.
2
2) Está Acotado Superior e Inferiormente 0 ≤ R ≤ 1
· Si R 2 =
VE
= 1 ⇒ VE = VT
VT
· Si R 2 = 1 −
VR
= 0 ⇒ VR = VT
VT
Nuestro Modelo Explica TODA
Variación Respecto a la Media
la
Nuestro Modelo No Explica NADA de la
Variación Respecto a la Media
87
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
3. Bondad de Ajuste del Modelo: El Coeficiente de Determinación R2
• Ventajas:
3) El Contraste de Significación Conjunta se puede expresar en términos
de R2
 H 0 : β1 = ... = β k = 0

 H1 : A lg ún β j ≠ 0
 H 0 : R 2 = 0

 H 1 : R 2 ≠ 0
R2
VE
K
K
F=
=
2
VR
1− R
n − K −1 n − K −1
88
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
3. Bondad de Ajuste del Modelo: El Coeficiente de Determinación R2
• Desventaja:
1) No se tiene en Cuenta el Número de Variables Explicativas Incorporadas
en el Modelo.
n
2
e
∑i
i =1
R 2 − Ajustado = R 2 = 1 − nn − K − 1
2
(
)
Y
−
Y
∑ i
R 2 = 1 − (1 − R 2 ) ⋅
n −1
n − K −1
i =1
n −1
89
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.5) CONTRASTES DE HIPÓTESIS Y VALIDACIÓN DEL
MODELO.
3. Bondad de Ajuste del Modelo: El Coeficiente de Determinación R2
EJEMPLO: Volumen de Ventas de una Librería
n
∑e
2
i
R2 = 1−
i =1
n
∑ (Y
i
−Y )
= 1−
2
79.80
SCE
79.80
=
1
−
=
1
−
= 0.9779
2
3612.7
Y '⋅Y − n ⋅ Y 2
30878 − 12 ⋅ (47.66)
i =1
 H 0 : β1 = ... = β k = 0

 H1 : A lg ún β j ≠ 0
R 2 = 1 − (1 − R 2 ) ⋅
 H 0 : R = 0

 H 1 : R 2 ≠ 0
2
R2
0.9779
K
2
F=
=
= 199.25
2
1 − 0.9779
1− R
9
n − K −1
n −1
11
= 1 − (1 − 0.9779) ⋅ = 0.9730
n − K −1
9
90
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.6) PREDICCIÓN
1. Predicción Puntual
- Predicción
- Error de Predicción
Insesgado
Varianza del Error
2. Predicción por Intervalo
3. Medidas para Evaluar la Capacidad Predictiva
- Error Cuadrático Medio
- Error Absoluto Medio
- Error Porcentual Absoluto Medio
91
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.6) PREDICCIÓN
1. Predicción Puntual
- Predicción
Yˆn + h = βˆ0 + βˆ1 ⋅ X 1,n + h + βˆ 2 ⋅ X 2,n + h + ... + βˆ K ⋅ X K ,n + h
∀h ≥ 1
- Error de Predicción
−1
en + h = Yn + h − Yˆn + h = U n + h − X n + h ⋅ ( X '⋅ X ) ⋅ X '⋅U
Propiedades del Error de Predicción
Insesgado
Varianza
⇒ E (e n + h ) = 0
[
⇒ Var (en + h ) = σ U2 ⋅ 1 + X n + h ⋅ ( X '⋅ X ) −1 ⋅ X n' + h
]
92
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.6) PREDICCIÓN
2. Predicción Por Intervalo
IC 0.95 = Yˆn + h ± es(en + h ) ⋅ t n − k −1,α 

2

en donde
[
es(en + h ) = σ U2 ⋅ 1 + X n + h ⋅ ( X '⋅ X ) −1 ⋅ X n' + h
]
93
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.6) PREDICCIÓN
3. Medidas para Evaluar la Capacidad Predictiva
1 J 2
· Error Cuadrático Medio ECM = ⋅ ∑ en + h
J h =1
· Error Absoluto Medio
1 J
EAM = ⋅ ∑ en + h
J h =1
· Error Porcentual Absoluto Medio
 1 J en + h
EPAM =  ⋅ ∑
 J h =1 Yn + h

 ⋅ 100

94
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.7) MODELOS NO-LINEALES Y MCO
1. Modelos No-lineales pero Fácilmente Linealizables
2. Modelos Intrínsecamente No-lineales
95
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.7) MODELOS NO-LINEALES Y MCO
Y = F ( X 1 , X 2 ,..., X K ) + U
F : ℜK → ℜ
NO-LINEAL
96
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.7) MODELOS NO-LINEALES Y MCO
1. Modelos No-lineales pero Fácilmente Linealizables
· Modelo Polinómico:
X 2*i = X 22i
Yi = β 0 + β1 ⋅ X 1i + β 2 ⋅ X 22i + U t
Yi = β 0 + β1 ⋅ X 1i + β 2 ⋅ X 2*i + U t
· Modelo Inversa:
Yi = β 0 + β1 ⋅ X 1i + β 2 ⋅
1
+Ui
X 2i
X 2*i =
1
X 22i
Yi = β 0 + β1 ⋅ X 1i + β 2 ⋅ X 2*i + U t
· Modelo Multiplicativo: Yi = β 0 ⋅ X 1βi 1 ⋅ X 2βi2 ⋅ U i
( )
log(Yi ) = log(β 0 ) + β1 ⋅ log( X 1i ) + β 2 ⋅ log X 2i + log(U i )
Yi * = β 0 + β1 ⋅ X 1*i + β 2 ⋅ X 2*i + U i*
97
TEMA 1. INTRODUCCIÓN: GENERALIZACIÓN Y
EXTENSIÓN DEL MODELO DE REGRESIÓN
1.7) MODELOS NO-LINEALES Y MCO
1. Modelos Intrínsecamente No-lineales
Son aquellos modelos que no se pueden linealizar.
Ejemplo:
Yi = θ1 + θ 2 ⋅ X iθ3 + U i
n
(
min SCE = ∑ Yi − θ1 + θ 2 ⋅ X iθ 3 + U i
{θ1 ,θ 2 ,θ 3 }
)
2
i =1
C.P.O:
∂ SCE
=0
∂θi
∀i = 1,2,3
98