Diferentes definiciones de AIC

Question

En la Wikipedia hay una definición de Akaike s Information Criterion (AIC) como $AIC = 2k -2 \log L$ donde $k$ es el número de parámetros y $\log L$ es la log-verosimilitud del modelo.

Sin embargo, nuestro Econometría notas en un respetado de la universidad estatal de ese $AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T}$. Aquí $\hat{\sigma}^2$ es la estimación de la varianza de los errores en un ARMA de modelo y de $T$ es el número de observaciones en el conjunto de datos de series de tiempo.

Es la última definición equivalente a la primera, pero simplemente atentos para ARMA de modelos? O es que hay algún tipo de conflicto entre las dos definiciones?

Answer 1

La fórmula de la cita de sus notas, que no es exactamente la AIC.

AIC es $-2\log\mathcal{L}+2k$.

Aquí te voy a dar un esbozo de un aproximado de derivación que hace lo suficientemente claro lo que está pasando.

Si usted tiene un modelo independiente de la normal de errores con varianza constante,

$$\mathcal{L}\propto \sigma^{-n} \: e^{-\frac{1}{2\sigma^2}\sum \varepsilon_i^2}$$

que puede ser estimada por máxima verosimilitud como

$$\begin{eqnarray} & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n\hat{\sigma}^2/\hat{\sigma}^2}\\ & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n}\\ & \propto &(\hat{\sigma}^2)^{-n/2} \end{eqnarray}$$

(suponiendo que la estimación de $\sigma^2$ es la estimación ML)

Por lo $-2\log\mathcal{L} +2k = n\log{\hat{\sigma}^2} + 2k$ (hasta cambio por una constante)

Ahora en el ARMA de modelo, si $T$ es muy grande en comparación a$p$$q$, entonces la probabilidad se puede aproximar por una Gaussiana marco (por ejemplo, usted puede escribir el ARMA aproximadamente como una más de AR y el estado en suficientes condiciones para escribir que la AR como un modelo de regresión), así que con $T$ en lugar de $n$:

$AIC \approx T\log{\hat{\sigma}^2} + 2k$

por lo tanto

$AIC/T \approx \log{\hat{\sigma}^2} + 2k/T$

Ahora si, simplemente comparando AICs, que la división por $T$ no importa en absoluto, ya que no cambiar el orden de los valores de AIC.

Sin embargo, si usted está utilizando el AIC para algún otro propósito que se basa en el valor real de las diferencias en la AIC (como hacer multimodel inferencia, como se describe por Burnham y Anderson), entonces es importante.

Numerosos textos de econometría parecen utilizar este AIC/T formulario. Curiosamente, algunos de los libros parecen referencia Hurvich y Tsai 1989 o Findley de 1985, de esa forma, pero Hurvich Y Tsai y Findley parecen estar discutiendo la forma original (aunque sólo tengo una indicación indirecta de lo que, tal y como hace ahora, así que tal vez hay algo en Findley).

Aumento podría ser hecho para una variedad de razones, por ejemplo, series de tiempo, especialmente de alta frecuencia de la serie de tiempo, puede ser muy largo y ordinario AICs pueden tener una tendencia a ser difícil de manejar, especialmente si $\sigma^2$ es muy pequeña. (Hay algunas otras posibles razones, pero desde que yo realmente no sé la razón de que esto fue hecho no voy a empezar a ir hacia abajo por la lista de todas las razones posibles.)

Usted puede mirar a Rob Hyndman la lista de Hechos y falacias de la AIC, - en particular, los artículos 3 a 7. Algunos de esos puntos pueden llevar a ser al menos un poco cauteloso acerca de depender demasiado de la aproximación por la probabilidad Gaussiana, pero tal vez hay una mejor justificación que ofrezco aquí.

No estoy seguro de que hay una buena razón para utilizar esta aproximación a la log-verosimilitud en lugar de la AIC ya que una gran cantidad de series de tiempo de los paquetes de estos días tienden a calcular (/maximizar) la log-verosimilitud para modelos ARMA. Parece que hay poca razón para no usarlo.

Answer 2

Creo que esto se basa en la suposición de normalidad de los errores. En econometría, que funcionan con asymptotics, especialmente en el tiempo de la serie de aplicaciones mediante el AIC. Como consecuencia, la normal suposición debe mantener asintóticamente para justificar este (asintótica) modelo de selección de programa.

Recordemos que el logaritmo de la normal de probabilidad es $ln(L) = -(T/2)ln(2\pi) -(T/2)ln(\sigma^2) - (1/2\sigma^2)\sum(x_i - \mu)$, donde utilizamos $\mathbb{E}(X) = \mu$ $Var(X) = \sigma^2$ si los datos provienen de X. En lo que sigue nos abandono el primer término, como la observada de la muestra $x_1, ..., x_T$ no le afecta.

Utilice simplemente el más general (primera) de la fórmula y el enchufe de la $L$ de la normal de probabilidad. El primer término puede ser ignorada (a es una constante, independientemente de regresor elección). El segundo término se convierte en $Tln(\sigma^2)$. El tercer término se convierte en $(1/\sigma^2)(T\hat{\sigma}^2)$, donde hemos utilizado $\hat{\sigma}^2 = T^{-1} \sum(x_i - \bar{x})$. De nuevo, el no uso de una muestra finita de corrección se justifica aquí porque este estimador es válido sólo asintóticamente si los errores no son normales. Dado que no conocemos $\sigma^2$, tenemos que estimar el tercer término como $(1/\sigma^2)(T\hat{\sigma}^2) = (1/\hat{\sigma}^2)(T\hat{\sigma}^2)$ = T.

En resumen, esto significa que tenemos que conseguir para el normal probabilidad de que $AIC = 2k + Tln(\sigma^2) + 1$. No hace falta decir, la minimización no es afectada por ignorar la constante $1$. El término es ahora simplemente divide por $T$, ya que no cambia el problema de minimización, a escala de todos los componentes aditivos por $T$. Esta tierras que en el segundo resultado, porque la $AIC$ $AIC/T$ son idénticos para el propósito de minimización.