Si se resumen las estadísticas de varios modelos, ¿tiene sentido informar de la media del AIC?

Question

Actualmente estoy resumiendo los resultados de varios grupos de modelos.

¿Tiene sentido informar de un AIC medio para cada grupo de modelos? Si no es así, ¿cuál es la mejor manera de dar una medida resumida para cada grupo de modelos?

Algunos factores que contribuyen

• todos los modelos tienen el mismo número de parámetros y estructura
• Dentro de cada grupo, hay cuatro modelos, que siempre tienen el mismo número de puntos de datos. Por ejemplo, cada grupo contiene siempre cuatro modelos con 50, 60, 80 y 100 puntos de datos respectivamente.

ACTUALIZACIÓN

Todavía no he recibido ninguna respuesta, pero he tenido otras reflexiones sobre este asunto.

¿Cómo definimos "significativo"? En este caso, probablemente sea mejor pensar en términos de lo que haremos con los resultados, el AIC medio. La interpretación del AIC suele ser a través de la función de verosimilitud, que da la probabilidad de que el peor de un par de modelos sea realmente mejor (y la diferencia de AIC medida entre ellos se debe al azar):

$\mathcal{L} = e^{-\frac{1}{2}|\Delta AIC|}$

Donde $\Delta AIC$ es la diferencia de AIC entre los modelos.

Sin pérdida de generalidad, consideremos el caso en el que tomamos la media de dos AIC, $\overline{AIC} = \frac{1}{2}(AIC_1 + AIC_2)$ y compararlos con un modelo de línea de bajo que tiene $AIC_B=0$ mientras que $AIC_1 > 0$ y $AIC_2 > 0$ . Entonces interpretamos la media como un único AIC y aplicamos la fórmula para $\mathcal{L}$ :

$\mathcal{L}(\overline{AIC}) = e^{-\frac{1}{2}|\overline{\Delta AIC}|} = e^{-\frac{1}{2}\frac{1}{2}(AIC_1 + AIC_2)} = \sqrt{e^{-\frac{1}{2}AIC_A}e^{-\frac{1}{2}AIC_B}}$

que es la media geométrica de $\mathcal{L}_1 = \mathcal{L}(AIC_1)$ y $\mathcal{L}_2 = \mathcal{L}(AIC_2)$ . Hasta aquí todo bien: tiene sentido calcular una media aritmética de AIC si tiene sentido calcular una media geométrica de $\mathcal{L}$ . (Me gustaría decir "si y sólo si", pero eso impediría cualquier racionalización para hacer esto fuera del argumento actual. En la línea de pensamiento actual, sin embargo, esto es un "si").

Entonces, ¿tiene sentido calcular una media geométrica de $\mathcal{L}$ ? Es de suponer que la razón para promediar de esta manera es que estamos tratando de calcular el $\mathcal{L'}$ que obtendrá si aplica un modelo similar a otro conjunto de datos en el futuro. En este caso tenemos que ver $E(\mathcal{L'})$ la probabilidad esperada, asumiendo igual probabilidad de cada modelo dentro del grupo.

$E(\mathcal{L'}) = P(\mathcal{L}_1)\mathcal{L}_1 + P(\mathcal{L}_2)\mathcal{L}_2 = \frac{1}{2} \mathcal{L}_1 + \frac{1}{2} \mathcal{L}_2 = \overline{\mathcal{L}}$

Esta es la media aritmética, no geométrica, de $\mathcal{L}_1$ y $\mathcal{L}_2$ . Así que no, no tiene sentido informar de la media aritmética del AIC, porque no tiene sentido informar de la media geométrica de $\mathcal{L}$ .

Por el contrario, tendría sentido informar de la media aritmética de $\mathcal{L}$ Así que esa sería una forma sensata de resumir un grupo de modelos.

Si alguien tiene ganas de responder, sería útil recibir comentarios sobre la corrección (¡o la desastrosa incorrección!) de este análisis. No estoy muy seguro de la última parte del argumento, ya que $\mathcal{L}$ es un relativa ¿tal vez sea apropiado tomar la media geométrica de todos modos?

Answer 1

Creo que se puede utilizar la mediana o la media del AIC de un grupo de modelos en comparación con otro grupo para el análisis interno o durante la selección de las especificaciones del modelo para su posterior consideración. Existe una interpretación de la diferencia entre el AIC de dos modelos en términos de probabilidades, véase aquí . De forma similar y algo informal, se podrían comparar los grupos de modelos representados por su resumen AIC.

Answer 2

No hay ningún significado real en la combinación de AICs. A veces (rara vez) hay beneficios al combinar modelos Por ejemplo, el promedio de modelos bayesianos o el promedio de coeficientes, pero no he visto que nadie combine los AIC.

Para empezar, no ha explicado por qué tiene más de un modelo.

Answer 3

En mi humilde opinión, resumir/promover AIC/BIC tiene cierto sentido (me da bastante miedo estar en desacuerdo en esto con @Frank Harrell :-). Al menos, he visto que se hace y se escribe sobre esto. Por favor, vea una de mis respuestas anteriores aquí en Validación cruzada con más información y referencias pertinentes: https://stats.stackexchange.com/a/128922/31372 .