AIC,BIC,CIC,DIC,EIC,FIC,GIC,HIC,IIC --- ¿Puedo utilizarlos indistintamente?

Question

En la página 34 de su PRNN Brian Ripley comenta que "El AIC fue denominado por Akaike (1974) como 'Un criterio de información', aunque parece que se cree comúnmente que la A significa Akaike". De hecho, al presentar el estadístico AIC, Akaike (1974, p.719) explica que

"IC stands for information criterion and A is added so that similar statistics, BIC, DIC
etc may follow".

Considerando esta cita como una predicción hecha en 1974, es interesante observar que en sólo cuatro años se propusieron dos tipos del estadístico BIC (IC bayesiano) por Akaike (1977, 1978) y Schwarz (1978). Spiegelhalter et al. (2002) tardaron mucho más más tiempo en llegar al DIC (Deviance IC). Aunque la aparición del criterio CIC no fue predicha por Akaike (1974), sería ingenuo creer que nunca fue contemplado. Fue propuesto por Carlos C. Rodríguez en 2005. (Nótese que el criterio CIC de R. Tibshirani y K. Knight el CIC (Criterio de Inflación de la Covarianza) es algo diferente).

Sabía que el EIC (Empirical IC) fue propuesto por gente de la Universidad de Monash en torno a 2003. Acabo de descubrir el Criterio de Información Enfocado (FIC). Algunos libros se refieren al CI de Hannan y Quinn como HIC, véase Por ejemplo, este ). Sé que debe haber GIC (IC Generalizado) y acabo de descubrir el Criterio de Inversión de la Información (IIC). Hay NIC, TIC y más.

Creo que podría cubrir el resto del alfabeto, por lo que no estoy preguntando dónde se detiene la secuencia AIC,BIC,CIC,DIC,EIC,FIC,GIC,HIC,IIC,... o qué letras del alfabeto no se han utilizado o se han utilizado al menos dos veces (por ejemplo, la E de EIC puede significar Extended o Empirical). Mi pregunta es más sencilla y espero que más útil en la práctica. ¿Puedo utilizar esas estadísticas indistintamente, ignorando los supuestos específicos bajo los que se derivaron, las situaciones específicas en las que se supone que son aplicables, etc.?

Esta pregunta está motivada en parte por lo que escriben Burnham y Anderson (2001):

...the comparison of AIC and BIC model selection ought to be based on their performance 
properties such as mean square error for parameter estimation (includes prediction) and 
confidence interval coverage: tapering effects or not, goodness-of-fit issues, 
derivation of theory is irrelevant as it can be frequentist or Bayes. 

El capítulo 7 de la monografía de Hyndman et al. sobre la suavización exponencial parece seguir el consejo de B-A al examinar el rendimiento de los cinco CI alternativos (AIC, BIC, AICc, HQIC, LEIC) en la selección del modelo que mejor pronostica (medido por una medida de error recientemente propuesta llamada MASE) para concluir que el AIC era una alternativa mejor con más frecuencia. (El HQIC fue declarado como el mejor selector de modelos sólo una vez).

No estoy seguro de cuál es el propósito útil de los ejercicios de investigación que tratan implícitamente todos ICc como si se derivaran para responder a una misma pregunta bajo conjuntos de supuestos equivalentes. En particular, no estoy seguro de la utilidad de investigar el rendimiento predictivo del criterio consistente para determinar el orden de una autorregresión (que Hannan y Quinn derivaron para secuencias estacionarias ergódicas) utilizándolo en el contexto de los modelos no estacionarios de suavización exponencial descritos y analizados en la monografía de Hyndman et al. ¿Me estoy perdiendo algo aquí?

Referencias:

Akaike, H. (1974), Una nueva mirada a la identificación del modelo estadístico, Transacciones del IEEE sobre Control Automático 19(6), 716-723.

Akaike, H. (1977), On entropy maximization principle, en P. R. Krishnaiah, ed., Aplicaciones de la estadística Vol. 27, Amsterdam: Holanda Septentrional, pp. 27-41.

Akaike, H. (1978), A Bayesian analysis of the minimum AIC procedure, Anales del Instituto de Matemática Estadística 30(1), 9-14.

Burnham, K. P. & Anderson, D. R. (2001) La información de Kullback-Leibler como base para la inferencia fuerte inference in ecological studies, Investigación sobre la vida silvestre 28, 111-119

Hyndman, R. J., Koehler, A. B., Ord, J. K. y Snyder, R. D. Previsión con alisamiento exponencial: el enfoque del espacio de estado. Nueva York: Springer, 2008

Ripley, B.D. Reconocimiento de patrones y redes neuronales . Cambridge: Cambridge University Press, 1996

Schwarz, G. (1978), Estimación de la dimensión de un modelo, Anales de Estadística 6(2), 461-464.

Spiegelhalter, D. J., Best, N. G., Carlin, B. P. y van der Linde, A. (2002), Bayesian measures of model complexity and t (con discusión), Revista de la Royal Statistical Society. Serie B (Metodología estadística) 64(4), 583-639.

Answer 1

Mi entendimiento es que la AIC, DIC, y WAIC son todos la estimación de la misma cosa: la espera fuera de la muestra desviación asociada con un modelo. Esta es también la misma cosa que la validación de las estimaciones. En Gelman et al. (2013), se dice esto explícitamente:

Una forma natural para la estimación de fuera de la muestra de predicción de error de validación cruzada (ver Vehtari y Lampinen, 2002, para una perspectiva Bayesiana), pero los investigadores han buscado siempre la alternativa mea - sures, como validación cruzada requiere repetidas modelo se ajusta y se puede ejecutar en problemas con datos dispersos. Por razones prácticas, sólo queda un lugar para la simple sesgo correcciones tales como el AIC (Akaike, 1973), DIC (Spiegelhalter, Mejor, Carlin, y van der Linde, 2002, van der Linde, 2005), y, más recientemente, WAIC (Watanabe, 2010), y todos ellos pueden considerarse como aproximaciones a las diferentes versiones de la validación cruzada (Stone, 1977).

BIC estimaciones de algo distinto, que está relacionado con longitud mínima descripción. Gelman et al. decir:

BIC y sus variantes se diferencian de los otros criterios de información que se consideran aquí en está motivada no por un cálculo predictivo de ajuste, sino por el objetivo de aproximar la probabilidad marginal de la densidad de los datos, p(y), bajo el modelo, que puede ser utilizado para estimar las probabilidades posteriores relativas en un ambiente discreto de la comparación de los modelos.

No sé nada acerca de los otros criterios de información que figuran, por desgracia.

Se puede utilizar la AIC-como los criterios de información de forma intercambiable? Las opiniones pueden diferir, pero dado que la AIC, DIC, WAIC, y de la validación cruzada de todos estimación de la misma cosa, entonces sí, son más o menos intercambiables. BIC es diferente, como se señaló anteriormente. Yo no sé acerca de los demás.

Qué más de uno?

• AIC funciona bien cuando se tiene una estimación de máxima verosimilitud y el plano de los priores, pero realmente no tiene nada que decir acerca de otros escenarios. La pena es también demasiado pequeño cuando el número de parámetros que se aproxima al número de puntos de datos. AICc sobre-corrige para este, el cual puede ser bueno o malo dependiendo de su perspectiva.

• DIC utiliza una menor pena si partes del modelo están fuertemente limitados por los priores (por ejemplo, en algunos multi-nivel de los modelos en los componentes de varianza se calcula). Esto es bueno, ya que restringe los parámetros de la realidad no constituyen un completo grado de libertad. Por desgracia, las fórmulas que se utilizan generalmente para DIC asumir que la parte posterior es esencialmente Gaussiano (es decir, que es bien descrito por su media), y así uno puede obtener resultados extraños (p. ej. por sanciones) en algunas situaciones.

• WAIC utiliza la totalidad de la parte posterior de la densidad de manera más efectiva que DIC que no, entonces Gelman et al. prefiero aunque puede ser un dolor para calcular en algunos casos.

• La validación cruzada no depende de ninguna fórmula en particular, pero puede ser computacionalmente prohibitivo para muchos modelos.

En mi opinión, la decisión acerca de que uno de los AIC-como criterios a utilizar depende enteramente de estos tipos de problemas prácticos, en lugar de una prueba matemática de que uno va a hacer mejor que los otros.

Referencias:

Gelman et al. La comprensión de la información predictiva de los criterios para Bayesiano de modelos. Disponible a partir de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.295.3501&rep=rep1&type=pdf

Answer 2

"Intercambiable" es una palabra demasiado fuerte. Todos ellos son criterios que buscan comparar modelos y encontrar un "mejor" modelo, pero cada uno define "mejor" de forma diferente y puede identificar diferentes modelos como "mejores".

Answer 3

"Proponer un referéndum". Sólo para votar! ;-) Me gustó el CAIC (Bozdogan, 1987) y BIC puramente de mi práctica personal, porque estos criterios da una pena grave para la complejidad, hemos conseguido más parsimonia, pero siempre se muestra la lista de buenos modelos - a delta 4-6-8 (en lugar de 2). En el paso de investigar los parámetros (porque tenemos un "buen estiramiento de los modelos candidatos"), el promedio de MM (B & A) a menudo casi no cambia. Yo ligeramente escéptico tanto a la clásica AIC y AICc (H & T, popularizado por B & A), ya que a menudo dan una muy "gruesa capa de la crema". ;-)