Criterios de selección y diagnóstico de modelos I) Diagnóstico El diagnóstico del modelo requiere comprobar las hipótesis básicas realizadas respecto a los residuos del modelo. 1. media marginal igual a cero 2. varianza marginal constante 3. falta de correlación de los residuos (shocks aleatorios estimados) para cualquier retardo 4. distribución normal La primer condición es poco restrictiva y aunque se cumpla el modelo puede ser incorrecto, la segunda condición es más fuerte. La tercera, incorrelación de los residuos para cualquier retardo, es central para asegurarse que el modelo es adecuado. La ultima condición, de normalidad es conveniente, porque entre otras cosas garantiza que la incorrelación implique independencia. Esta etapa de validación es complementaria a la de seleccionar el mejor modelo, pero no consisten en lo mismo, es posible seleccionar varios modelos que cumplan las hipótesis anteriores, son etapas complementarias. 1. Contrastes de autocorrelación 1.1 Test de significación individual de las autocorrelaciones estimadas El primer contraste a realizar es si los residuos estimados están incorrelacionados. Es posible determinar si cada coeficiente de aurocorrelación es significativamente distinto de cero. Para ello se calcula su función de autocorrelación estimada y si los residuos están incorrelacionados los ρk estimados, para k no muy pequeño serán aproximadamente variables aleatorias con media cero, varianza asintótica 1/T y distribución normal. La varianza asintótica es válida para k grande, pero no para los primeros retardos. Puede demostrarse que para un proceso AR(1), el desvío asintótico del primer retardo, k=1 de 2 la autocorrelación de primer orden es ρˆ 1 = (1 − φ ) T , que puede ser mucho menor que 1/√T. Por tanto el valor 1/√T debe considerarse como un límite máximo del desvío de las autocorrelaciones de los residuos. Se puede utilizar la formula de Barlett 1 para estimar los errores estándar de los coeficientes de autocorrelación de los residuos: s [ρ (εˆ )] = 1 + 2 k -1 ρ 2 (εˆ )T −1 / 2 ∑ j=1 j k 1 Esta aproximación es apropiada para procesos estacionarios con shocks aleatorios con distribución Normal, donde el verdadero proceso generador de los datos (para cada rezago k) es un MA de orden k-1. Ver Pankratz.A (1983). 1 Se contrasta la hipótesis nula H0 : ρ̂ k = 0 para cada coeficiente de autocorrelación ρˆ − 0 calculando t = k s[ρˆ k ] Existe un riesgo al aplicar la fórmula de Barlett para testear las autocorrelaciones en los residuos, los errores estándar estimados en general están sobreestimados cuando se aplica esta fórmula, esto se da sobre todo en los rezagos más pequeños y esto da lugar a subestimar los t-valores. De todos modos muchos paquetes estadísticos usan esta aproximación, por lo que hay que ser especialmetne cuidadoso en evaluar la significación de los coeficientes de autocorrelación en los primeros rezagos. 1.2 Contraste de Ljung Box Dados los problemas de contrastar la significación individual de los coeficientes de autocorrelación estimados, Ljung y Box proponen un contraste global de que las primeras h autocorrelaciones son cero. Si los residuos siguen un proceso tipo ruido blanco, los coeficientes de correlación estimado son asintóticamente normales, con media cero y varianza (T-k)/T(T+2). H0 : ρ̂1 = ρ̂ 2 =.... ρ̂ k =0 ρˆ 2j se distribuye, asintóticamente, como una χ2 con T − j j =1 grados de libertad igual al número de coeficientes en la suma (h) menos el número de parámetros estimdos n. Para modelos no estacionales y con constante n= p+q+1 y para los estaciones, sin constante n=p+q+P+Q. Concluiremos que el modelo es inadecuado si el valor de Q(h) es mayor que el percentil 0.95 de la distribución χ2 con h-n grados de libertad. h El estadístico Q(h) = T (T + 2) ∑ 2. Contrastes de media cero Para contrastar la hipótesis de que las perturbaciones tienen esperanza nula, suponiendo T residuos y p+q parámetros, se calcula su media, su varianza y se concluye que la εˆ esperanza de los residuos es distinta de cero si es significativamente grande con sˆεˆ T relación a la distribución N(0,1). Este contraste debe de aplicarse despues de comprobar que los residuos están incorrelacionados de modo de asegurar que ŝεˆ es un estimador razonable del desvío. 3. Contraste de homocedasticidad La estabilidad de la varianza marginal de los residuos se comprueba estudiando el gráfico de los residuos a lo largo del tiempo. Existen contrastes adicionales para ciertas formas de heterocedasticidad condicional, que veremos más adelante. 4. Contraste de normalidad La normalidad se comprueba con cualquiera de los test de normalidad. 2 Un contraste posible es el test de Jarque Bera (), el estadístico mide la diferencia de los coeficientes de asimetría y kurtosis de la serie con la de una serie con distribución normal. Se calculan los coeficientes de asimetría (cs) y kurtosis (ck) de los residuos y bajo la Tcs 2 T(ck - 3) 2 hipótesis de normalidad, la variable X = + sigue una distribución χ2 6 24 con dos grados de libertad. El coeficiente de asimetría de una variable con distribución Normal, es 0 y el coeficiente de kurtosis de una variable con distribución Normal, es 3. Si el coeficiente excede el valor de 3, la distribución es más empinada que la Normal (leptokurtica) y si el coeficiente es menor que 3, la distribución es más chata que la normal (platycurtica). Siempre conviente estudiar el gráfico de los residuos estimados a lo largo del tiempo, de modo de poder detectar posibles puntos anómalos, si existen puntos que exceden ± 2σ2 ó ± 3σ2 . 5. Periodograma acumulado En ocasiones uno puede temer no considerar las periodicidades de la serie en forma adecuada. Se puede intentar rastrear estas periodicidades no captadas en el modelo a través del análisis de los residuos. El autocorrelograma de los residuos estimados no es el instrumento más adecuado para captar si estas periodicidades permanecen en los residuos, dado que estas se diluyen a medida que los rezagos se incrementan. El periodograma en cambio está pensado para captar con gran sensibilidad estas periodicidades. Barlett dejó en claro que el periodograma acumulado puede usarse como un instrumento adecuado para detectar estas periodicidades no aleatorias. El espectro poblacional de un proceso ruido blanco es un valor constante, como vimos : f (λ ) = 1 2 σε 2π En el intervalo (0,π), en términos de período, el espectro de un ruido blanco tiene un valor constante en (0,0.5ciclos), por tanto se puede graficar el espectro acumulado de un ruido blanco como una línea que va de (0,0) a (0.5,σ2 ε) o si la estandarizamos , va de (0,0) a (0.5,1). Llamemos C(f) al periodograma acumulado normalizado, estimador insesgado del j espectro acumulado, C(f) = ∑ f (λ ) / ns 2 , con s2 estimador de σ2 ε . Si el modelo fuera i =1 adecuado y los parámetros estimados fueran iguales a los verdaderos, los residuos serían efectivamente shocks aleatorios, procesos ruido blanco. Si se grafica C(f) contra las frecuencias en el intervalo (0,π),se obtendría una línea recta que va de (0,0) a (0.5,1), si el modelo es inadecuado, si persisten periodicidades no modelizadas, el periodograma acumulado mostrará desviaciones sistemáticas de esa línea. 3 Ejemplo: Considerar la serie sunspots.tsm 120. 100. 80. 60. 40. 20. 0 . -20. -40. -60. 0 20 40 60 80 100 Importarla y dejar el modelo por defecto: ruido blanco. Luego buscar en el menú el periodograma acumulado estandarizado.El gráfico que se obtiene es: 1.00 .80 .60 .40 .20 .00 .0 .5 1.0 1.5 2.0 2.5 3.0 Salida PEST: ITSM::(CUMULATIVE SPECTRUM) Number of frequencies in periodogram = 5 Fundamental Fourier frequency 2*pi/n = .062832 Las bandas que aparecen son las bandas de Kolmogorov-Smirnov, que establecen límites a partir de los cuales, las periodicidades que persisten en los residuos dan lugar a rechazar la hipótesis de que los residuos se comportan como un proceso ruido blanco . Si se ajusta un modelo preliminar, tal que minimice el AICC, ajusta un AR(3) a la serie de manchas solares y se estima nuevamente el periodograma acumulados estandarizado el resultado es el siguiente Salida PEST : Method: Yule-Walker (Minimum AICC) ARMA Model: X(t) = 1.369 X(t-1) - .7401 X(t-2) + .08047 X(t-3) + Z(t) WN Variance = .227391E+03 AR Coefficients 1.368531 -.740146 .080474 Ratio of AR coeff. to 1.96 * (standard error) 7.005020 -2.479990 .411918 (Residual SS)/N = .227391E+03 WN variance estimate (Yule Walker): .287341E+03 4 -2Log(Like) = .828553E+03 AICC = .836974E+03 1.00 .80 .60 .40 .20 .00 .0 .5 1.0 1.5 2.0 2.5 3.0 7. Evaluación de las predicciones Se evalúa el modelo de acuerdo a la performance de las predicciones dentro de la muestra, se acorta la muestra y se realizan las predicciones correspondientes, a un paso y a varios pasos, se comparan los errores obtenidos de acuerdo a la utilización de los diferentes modelos. Se pueden elaborar , a modo de ejemplo, los siguientes indicadores usando los errores estimados: F i) Error medio: 1/F ∑e t i =1 F ii) Error medio absoluto: 1/F ∑e t i =1 F iii) RMSE: 1 / F ∑ et2 i =1 F= número de observaciones fuera de la muestra usadas para evaluar la predicción N= número total de observaciones Criterios de Selección El proceso de identificación puede dar lugar a seleccionar un conjunto de modelos como posibles condidatos, se han elaborado un conjunto de criterios que contribuyan a la selección de modelos. En estas notas expondremos tres criterios: FPE: Final Prediction Error Criterion (Akaike 1969) AIC: Akaike Information Criteria (Akaike 1974) BIC: Bayesian Information Criterion (Shwarz 1978) La idea es conciliar la necesidad de minimizar los errores y estimar un modelo parsimonioso. Estos criterios en general constan de dos componentes, uno que refiere a 5 la minimización de los errores y el segundo, un término de penalización por la incorporación de parámetros adicionales. AIC= Ln(SCR/n) + 2((1+p+q+P+Q)/n) BIC= Ln(SCR/n) + [Ln(n)+((1+p+q+P+Q)/n) n=número de observaciones p=orden de la parte autorregresiva regular P=orden de la parte autorregresiva estacional q= orden de la parte de medias móviles regular Q= orden de la parte de medias móviles estacional 1: si el modelo incluye constante FPE= σ2 (n+p/n-p) Este criterio está pensado para seleccionar entre modelos autorregresivos. Dado el orden del modelo autorregresivo, se minimiza el error cuadrático medio de la predicción a un paso. Observaciones: 1. Idealmente tanto el AIC como el BIC deben ser lo más pequeños posibles (ambos pueden ser <0). 2. Como se puede ver a partir de las expresiones de los criterios, para utilizar esto dos criterios sobre modelos alternativos es necesario estimarlos sobre el mismo período ( igual muestra), para que sean comparables. 3. El criterio BIC usualmente selecciona modelos más parsimoniosos que el criterio AIC, ya que el costo de adicionar regresores es mayor. 4. Si se utilizan ambos criterios para ordenar modelos, se obtienen resultados diferentes, por ello es preferible hacer el ranking de acuerdo a un criterio pre seleccionado. 5. Cuando se usa un único criterio, persiste aun un problema y es cuál es la diferencia aceptable para elegir entre un modelo y otro. Existen diferentes propuestas para tomar esta desición, Poskitt y Tremayne (1987) sugieren combinar ambos criterios, de la siguiente forma: R= e [−1 / 2 T (BIC ( p 0 , q ( P , 0 ,Q )− BIC ( p ,0 , q )( P , 0 ,Q ) )] Los autores sugieren que el punto de corte se establezca en valores menores a 10 . Gómez y Maravall (1998) sugieren usar los modelos más balanceados, si los criterios dan valores similares. Ej: entre un ARIMA (2,0,0) Y UN ARIMA(1,0,1) sugieren elegir el segundo, pues entre otras cosas permite encontrar problemas de factores comunes entre los polinomios de los componentes autorregresivo y de medias móviles. *, * * * 6