¿Cómo se ve afectado el criterio de información de Akaike (AIC) por el tamaño de la muestra?

Question

Estoy evaluando varios modelos de regresión logística para predecir la retención de estudiantes universitarios. Estoy utilizando algunos predictores básicos y bien establecidos, como el promedio de la escuela secundaria y las puntuaciones SAT. Entiendo que al evaluar modelos competidores, generalmente es preferible un AIC más bajo.

Esperaba que el uso de varios años de datos pudiera mejorar mis modelos, pero he notado que cuanto más años de registros de datos agrego al modelo, más aumenta el AIC. Por ejemplo, aquí están los AICs para varios modelos construidos utilizando más o menos años de registros de estudiantes (retrocediendo en el tiempo, en relación al año académico más reciente):

• Usando 9 años de datos: AIC = 4314
• Usando 5 años de datos: AIC = 2789
• Usando 4 años de datos: AIC = 2312
• Usando 3 años de datos: AIC = 1776
• Usando 2 años de datos: AIC = 1139
• Usando 1 año de datos: AIC = 512

¿Estos resultados significan que el AIC se infla o pierde relevancia con tamaños de muestra más grandes, o implican que cada año de registros en mi conjunto de datos es tan dramáticamente diferente entre sí que probablemente necesito ajustar un modelo diferente para cada año, o algo más?

Answer 1

No hay un significado particular para el AIC en la comparación entre diferentes conjuntos de datos. Sí, el valor del AIC puede cambiar para $n$ incrementado. Sin embargo, el AIC es autorreferencial, lo que significa que solo se pueden comparar diferentes modelos usando el MISMO conjunto de datos, no diferentes conjuntos de datos. Esto también es complicado, por ejemplo, se aplica a detectar de forma probable mejores modelos anidados (modelos que tienen un formato de conjunto/subconjunto, es decir, cuando todos los modelos probados se pueden obtener al eliminar parámetros del modelo más inclusivo).

Algunos expertos sugieren que el AIC también se aplica a detectar de forma probable mejores modelos no anidados, pero hay contraejemplos, vea este pregunta/respuesta. Quizás una pregunta más significativa, que la pregunta del OP anterior solo está indirectamente implicando, es "¿Qué tan bien puede discriminar el AIC entre dos modelos cuando la muestra es más grande?" y la respuesta a eso es aparentemente mejor para un $n$ creciente. Este último no es inesperado en el sentido de que el AIC solo es correcto asintóticamente, por ejemplo, desde Wikipedia, "Elegimos el modelo candidato que minimizó la pérdida de información. No podemos elegir con certeza (Sic, las cursivas son mías), porque no conocemos f (Sic, el proceso de generación de datos desconocido). Akaike (1974) mostró, sin embargo, que podemos estimar, a través del AIC, cuánta más (o menos) información se pierde por g1 que por g2. La estimación, sin embargo, solo es válida asintóticamente; si el número de puntos de datos es pequeño, entonces a menudo es necesaria alguna corrección (ver AICc...)."

Ahora ejemplos arbitrarios de cómo cambia el AIC. El primer cambio que consideramos examina cómo varía el AIC usando el mismo variado normal estándar aleatorio pero diferentes semillas. Se muestra un histograma de 1000 repeticiones de los valores del AIC del modelo (distribución normal) cada uno de 100 resultados normales estándar aleatorios.

Esto muestra una distribución para la cual la normalidad no está excluida con $\mu \to -497.672, \sigma \to 48.5034$ . Esto ilustra que un valor de AIC promedio para 1000 repeticiones independientes de $n=100$ es una suposición educada para la ubicación del AIC. A continuación, aplicamos esta "suposición educada" y la ajustamos para mostrar la tendencia:

Este gráfico muestra cómo cambian los valores promedio de AIC (de 1000 ensayos independientes) cuando el número de resultados aleatorios en cada ensayo es $n=5,10,15,...,95,100$ . Esto parece ser aproximadamente un cúbico con un EE de 1 unidad de AIC (R $^2=0.999964$ ). El significado de esto es como el sonido de una sola mano aplaudiendo; todo lo que hemos hecho es encontrar un resultado que es consistente con que el AIC sea un mejor discriminador para un $n$ creciente; sin comparar con un segundo modelo para cada ensayo no podemos detectar nada. La única pregunta que queda es por qué los valores del AIC aumentan para más datos en la pregunta del OP. Algunos paquetes de software a veces mostrarán valores del AIC $-$ en las tablas para mostrar que más es mejor, en lugar de menos es mejor, pero utilizan los valores del AIC en sí para discriminar entre modelos.