¿Cuántos rezagos hay que utilizar en la prueba de Ljung-Box de una serie temporal?

Question

Después de ajustar un modelo ARMA a una serie temporal, es habitual comprobar los residuos mediante la prueba portmanteau de Ljung-Box (entre otras pruebas). La prueba de Ljung-Box devuelve un valor p. Tiene un parámetro, h que es el número de rezagos que hay que comprobar. Algunos textos recomiendan utilizar h \=20; otros recomiendan utilizar h \=ln(n); la mayoría no dice qué h a utilizar.

En lugar de utilizar un único valor para h Supongamos que hago la prueba de Ljung-Box para todos h <50, y luego elegir el h que da el valor p mínimo. ¿Es razonable este enfoque? ¿Cuáles son las ventajas y los inconvenientes? (Una desventaja obvia es el aumento del tiempo de cálculo, pero eso no es un problema aquí). ¿Existe bibliografía al respecto?

Para elaborar ligeramente.... Si la prueba da p>0,05 para todos los h entonces, obviamente, las series temporales (residuos) pasan la prueba. Mi pregunta se refiere a cómo interpretar la prueba si p<0,05 para algunos valores de h y no para otros valores.

Answer 1

Supongamos que especificamos un modelo AR(1) simple, con todas las propiedades habituales,

$$y_t = \beta y_{t-1} + u_t$$

Denotemos la covarianza teórica del término de error como

$$\gamma_j \equiv E(u_tu_{t-j})$$

Si podríamos observar el término de error, entonces la autocorrelación muestral del término de error se define como

$$\tilde \rho_j \equiv \frac {\tilde \gamma_j}{\tilde \gamma_0}$$

donde

$$\tilde\gamma_j \equiv \frac 1n \sum_{t=j+1}^nu_tu_{t-j},\;\;\; j=0,1,2...$$

Pero en la práctica, no observamos el término de error. Así que la autocorrelación de la muestra relacionada con el término de error se estimará utilizando los residuos de la estimación, como

$$\hat\gamma_j \equiv \frac 1n \sum_{t=j+1}^n\hat u_t\hat u_{t-j},\;\;\; j=0,1,2...$$

El estadístico Q de Box-Pierce (el Q de Ljung-Box no es más que una versión escalada asintóticamente neutral del mismo) es

$$Q_{BP} = n \sum_{j=1}^p\hat\rho^2_j = \sum_{j=1}^p[\sqrt n\hat\rho_j]^2\xrightarrow{d} \;???\;\chi^2(p) $$

Nuestra cuestión es exactamente si $Q_{BP}$ puede decirse que tiene asintóticamente una distribución chi-cuadrado (bajo el nulo de no autocorrelación en el término de error) en este modelo.
Para que esto ocurra, todos y cada uno de $\sqrt n \hat\rho_j$ debe ser asintóticamente normal. Una forma de comprobarlo es examinar si $\sqrt n \hat\rho$ tiene la misma distribución asintótica que $\sqrt n \tilde\rho$ (que se construye utilizando los errores verdaderos, y por lo tanto tiene el comportamiento asintótico deseado bajo el nulo).

Tenemos que

$$\hat u_t = y_t - \hat \beta y_{t-1} = u_t - (\hat \beta - \beta)y_{t-1}$$

donde $\hat \beta$ es un estimador consistente. Así que

$$\hat\gamma_j \equiv \frac 1n \sum_{t=j+1}^n[u_t - (\hat \beta - \beta)y_{t-1}][u_{t-j} - (\hat \beta - \beta)y_{t-j-1}]$$

$$=\tilde \gamma _j -\frac 1n \sum_{t=j+1}^n (\hat \beta - \beta)\big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] + \frac 1n \sum_{t=j+1}^n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1}$$

Se supone que la muestra es estacionaria y ergódica, y se supone que existen momentos hasta el orden deseado. Dado que el estimador $\hat \beta$ es consistente, esto es suficiente para que las dos sumas lleguen a cero. Así que concluimos

$$\hat \gamma_j \xrightarrow{p} \tilde \gamma_j$$

Esto implica que

$$\hat \rho_j \xrightarrow{p} \tilde \rho_j \xrightarrow{p} \rho_j$$

Pero esto no garantiza automáticamente que $\sqrt n \hat \rho_j$ converge a $\sqrt n\tilde \rho_j$ (en la distribución) (piénsese que el teorema del mapa continuo no se aplica aquí porque la transformación aplicada a las variables aleatorias depende de $n$ ). Para que esto ocurra, necesitamos

$$\sqrt n \hat \gamma_j \xrightarrow{d} \sqrt n \tilde \gamma_j$$

(el denominador $\gamma_0$ -tilde o hat- convergerá a la varianza del término de error en ambos casos, por lo que es neutral a nuestro problema).

Tenemos

$$\sqrt n \hat \gamma_j =\sqrt n\tilde \gamma _j -\frac 1n \sum_{t=j+1}^n \sqrt n(\hat \beta - \beta)\big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] \\+ \frac 1n \sum_{t=j+1}^n\sqrt n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1}$$

Entonces la pregunta es: ¿estas dos sumas, multiplicadas ahora por $\sqrt n$ se van a cero en probabilidad por lo que nos quedaremos con $\sqrt n \hat \gamma_j =\sqrt n\tilde \gamma _j$ ¿Asintóticamente?

Para la segunda suma tenemos

$$\frac 1n \sum_{t=j+1}^n\sqrt n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1} = \frac 1n \sum_{t=j+1}^n\big[\sqrt n(\hat \beta - \beta)][(\hat \beta - \beta)y_{t-1}y_{t-j-1}]$$

Desde $[\sqrt n(\hat \beta - \beta)]$ converge a una variable aleatoria, y $\hat \beta$ es consistente, esto irá a cero.

Para la primera suma, aquí también tenemos que $[\sqrt n(\hat \beta - \beta)]$ converge a una variable aleatoria, por lo que tenemos que

$$\frac 1n \sum_{t=j+1}^n \big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] \xrightarrow{p} E[u_ty_{t-j-1}] + E[u_{t-j}y_{t-1}]$$

El primer valor esperado, $E[u_ty_{t-j-1}]$ es cero por los supuestos del modelo estándar AR(1). Pero el segundo valor esperado no es ya que la variable dependiente depende de los errores del pasado.

Así que $\sqrt n\hat \rho_j$ no tendrá la misma distribución asintótica que $\sqrt n\tilde \rho_j$ . Pero la distribución asintótica de esta última es la Normal estándar, que es la que conduce a una distribución chi-cuadrado al elevar al cuadrado el v.r.

Por lo tanto, concluimos que en un modelo de serie temporal puro, no se puede decir que el estadístico Q de Box-Pierce y el Q de Ljung-Box tengan una distribución asintótica chi-cuadrado, por lo que la prueba pierde su justificación asintótica.

Esto sucede porque la variable del lado derecho (aquí el retardo de la variable dependiente) por diseño es no estrictamente exógena al término de error, y hemos encontrado que dicha exogeneidad estricta es necesaria para que el estadístico Q de BP/LB tenga la distribución asintótica postulada.

En este caso, la variable del lado derecho sólo está "predeterminada", y la prueba de Breusch-Godfrey es entonces válida. (para el conjunto completo de condiciones requeridas para una prueba asintóticamente válida, véase Hayashi 2000, p. 146-149).

Answer 2

La respuesta depende definitivamente de: Qué es lo que realmente se intenta utilizar el $Q$ ¿para qué?

La razón común es: ser más o menos confiado sobre la significación estadística conjunta de la hipótesis nula de no autocorrelación hasta el lag $h$ (alternativamente asumiendo que tiene algo cercano a un débil ruido blanco ) y para construir un parsimonia modelo, teniendo el menor número de parámetros posible.

Normalmente, los datos de las series temporales tienen un patrón estacional natural, por lo que la regla práctica sería establecer $h$ al doble de este valor. Otro es el horizonte de previsión, si se utiliza el modelo para necesidades de previsión. Por último, si encuentra algunas desviaciones significativas en los últimos rezagos, intente pensar en las correcciones (podría deberse a algunos efectos estacionales, o a que los datos no fueron corregidos por los valores atípicos).

En lugar de utilizar un único valor para h, supongamos que hago la prueba de Ljung-Box para todos los h<50, y luego elijo el h que da el valor p mínimo.

Es un importancia conjunta por lo que si la elección de $h$ se basa en los datos, entonces por qué debería preocuparme por algunas pequeñas desviaciones (¿ocasionales?) en cualquier retraso menor que $h$ Suponiendo que sea mucho menos que $n$ por supuesto (el poder de la prueba que mencionas). Buscando encontrar un modelo simple pero relevante sugiero los criterios de información como se describe a continuación.

Mi pregunta se refiere a cómo interpretar la prueba si $p<0.05$ para algunos valores de $h$ y no para otros valores.

Así que dependerá de lo lejos que esté del presente. Desventajas de las desviaciones lejanas: más parámetros a estimar, menos grados de libertad, peor poder predictivo del modelo.

Intenta estimar el modelo incluyendo el MA y \or Las partes de AR en el retardo donde se produce la salida Y, además, mirar a uno de los criterios de información (ya sea AIC o BIC en función del tamaño de la muestra) esto le traerá más ideas sobre qué modelo es más parsimonioso. Cualquier ejercicio de predicción fuera de la muestra también es bienvenido aquí.

Answer 3

Antes de que te fijes en la h "correcta" (que parece ser más una opinión que una regla fija), asegúrate de que el "retraso" está correctamente definido.

http://www.stat.pitt.edu/stoffer/tsa2/Rissues.htm

Citando la sección debajo del número 4 en el enlace anterior:

"....Los valores p mostrados para el gráfico estadístico de Ljung-Box son incorrectos porque los grados de libertad utilizados para calcular los valores p son lag en lugar de lag - (p+q). Es decir, el procedimiento utilizado NO tiene en cuenta que los residuos proceden de un modelo ajustado. Y SÍ, al menos un desarrollador del núcleo de R sabe esto...."

Edición (23/01/2011): Aquí hay un artículo de Burns que puede ayudar:

http://lib.stat.cmu.edu/S/Spoetry/Working/ljungbox.pdf

Answer 4

El hilo "Pruebas de autocorrelación: Ljung-Box versus Breusch-Godfrey" muestra que la prueba de Ljung-Box es esencialmente inaplicable en el caso de un modelo autorregresivo. También muestra que, en su lugar, debe utilizarse la prueba de Breusch-Godfrey. Esto limita la relevancia de su pregunta y las respuestas (aunque las respuestas pueden incluir algunos puntos generalmente buenos).

Answer 5

Las dos configuraciones más comunes son $\min(20,T-1)$ y $\ln T$ donde $T$ es la longitud de la serie, como has señalado correctamente.

El primero se supone que es del libro de Box, Jenkins y Reinsel. Time Series Analysis: Forecasting and Control. 3rd ed. Englewood Cliffs, NJ: Prentice Hall, 1994. Sin embargo, aquí está todo lo que dicen sobre los rezagos en la p.314:

No es un argumento ni una sugerencia de peso, ni mucho menos, y sin embargo la gente lo sigue repitiendo de un sitio a otro.

El segundo ajuste para un retardo procede de Tsay, R. S. Analysis of Financial Time Series. 2nd Ed. Hoboken, NJ: John Wiley & Sons, Inc., 2005, esto es lo que escribió en la página 33:

A menudo se utilizan varios valores de m. Los estudios de simulación sugieren que la elección de m ≈ ln(T ) proporciona un mejor rendimiento energético.

Este es un argumento algo más sólido, pero no se describe qué tipo de estudio se hizo. Así que no lo tomaría al pie de la letra. También advierte sobre la estacionalidad:

Este regla general necesita ser modificada en el análisis de series temporales estacionales para las que las autocorrelaciones con rezagos en múltiplos de la estacionalidad son más importantes.

Resumiendo, si sólo necesitas meter un poco de retraso en la prueba y seguir adelante, entonces puedes usar cualquiera de estas configuraciones, y eso está bien, porque es lo que hacen la mayoría de los profesionales. Somos perezosos o, más probablemente, no tenemos tiempo para estas cosas. De lo contrario, tendrías que realizar tu propia investigación sobre la potencia y las propiedades de los estadísticos para las series que manejas.

ACTUALIZACIÓN.

Aquí está mi respuesta al comentario de Richard Hardy y su respuesta, que se refiere a otro hilo en el CV iniciado por él. Puedes ver que la exposición en la respuesta aceptada (por el propio Richerd Hardy) en ese hilo se basa claramente en el modelo ARMAX, es decir, el modelo con regresores exógenos $x_t$ : $$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$$

Sin embargo, OP no ha indicado que esté haciendo ARMAX, al contrario, menciona explícitamente ARMA:

Después de ajustar un modelo ARMA a una serie temporal, es habitual comprobar la residuos mediante la prueba de Ljung-Box portmanteau

Uno de los primeros trabajos que señalaron un posible problema con la prueba LB fue el de Dezhbaksh, Hashem (1990). " El uso inadecuado de las pruebas de correlación serial en los modelos lineales dinámicos ," Review of Economics and Statistics, 72, 126-132. Este es el extracto del artículo:

Como puede ver, no se opone al uso de la prueba LB para modelos de series temporales puros, como ARMA. Véase también el debate en el manual a una herramienta econométrica estándar EViews:

Si la serie representa los residuos de la estimación ARIMA, el grados de libertad deben ajustarse para representar el número de autocorrelaciones menos el número de términos AR y MA estimados previamente. Obsérvese también que hay que tener cierto cuidado en interpretar los resultados de una prueba de Ljung-Box aplicada a los residuos de una especificación ARMAX (véase Dezhbaksh, 1990, para una simulación de simulación sobre el rendimiento de la muestra finita de la prueba en este entorno)

Sí, hay que tener cuidado con los modelos ARMAX y la prueba LB, pero no se puede hacer una afirmación general de que la prueba LB es siempre errónea para todas las series autorregresivas.

ACTUALIZACIÓN 2

La respuesta de Alecos Papadopoulos muestra por qué la prueba de Ljung-Box requiere exogeneidad estricta suposición. No lo muestra en su post, pero la prueba de Breusch-Gpdfrey (otra prueba alternativa) sólo requiere exogeneidad débil que es mejor, por supuesto. Esto que Greene, Econometría, 7ª ed. dice sobre las diferencias entre las pruebas, p.923:

La diferencia esencial entre el Godfrey-Breusch y el Box-Pierce es el uso de correlaciones parciales (controlando por X y las demás variables) en el primero y correlaciones simples en el en la segunda. Bajo la hipótesis nula, no hay autocorrelación en εt , y no hay correlación entre $x_t$ y $\varepsilon_s$ en cualquier caso, por lo que las dos pruebas son asintóticamente equivalentes. Por otro lado, al no condicionar condiciona a $x_t$ la prueba de Box-Pierce es menos potente que la LM cuando la hipótesis nula es falsa, como podría sugerir la intuición.