¿Es legítimo utilizar el AIC para comparar modelos sobre los mismos datos a diferentes niveles de agregación?

Question

Estoy haciendo un trabajo sobre el sesgo de agregación y el MAUP. Tengo ols regresiones lineales sobre los mismos datos espaciales en unos 20 niveles de agregación por vecindad-media, desde muy fino hasta muy grueso. He estado mirando todas las estadísticas de regresión a través de esos niveles, pero estoy interesado en saber si los AIC son realmente comparables, ya que los datos no son exactamente los mismos para cada modelo (mismos datos de base, diferentes agrupaciones).

('AIC ', -376690.80011657765) (original scale)
('AIC ', -10072.321299273639)
('AIC ', -2885.1160897361483)
('AIC ', -1329.8105840994881)
('AIC ', -708.88016385281207)
('AIC ', -492.45296306496391)
('AIC ', -308.68371624072711)
('AIC ', -218.0536153540844)
('AIC ', -166.20952785172358)
('AIC ', -118.37257148698347) (very coarse)

Answer 1

No podemos comparar el AIC para modelos basados en datos diferentes. Memorice que $AIC=2k-2ln(L)$ por lo que depende del valor de la función log-likelihood. Su valor y estructura dependen del conjunto de datos aplicado.

Por lo tanto, puede comparar el AIC correctamente sólo para los modelos que utilizan datos absolutamente idénticos, con el fin de investigar qué conjunto de parámetros parece ser el más razonable.

También preste atención a que la diferencia de AIC entre sus modelos es muy grande, lo que no es típico. Así que la diferencia entre los datos a escala original y a escala muy gruesa parece ser muy grande.

Answer 2

Su pregunta es similar a este . En general, cualquiera de los criterios de información sólo son comparables para los modelos que utilizan exactamente los mismos datos, ya que son funciones de la probabilidad, y la probabilidad es una función directa de los elementos de los datos. Si se comparan modelos con diferentes agregaciones de parámetros como los modelos jerárquicos o el uso de diferentes familias distributivas pero aplicadas a los mismos puntos de datos, entonces el X Los criterios de CI son una valiosa métrica de comparación.

Sin embargo, en su caso, está cambiando los datos subyacentes utilizados al ajustar el modelo. Tienes un número diferente de puntos de datos cuando miras tus datos a un nivel más fino o más grueso, de ahí la enorme discrepancia en la probabilidad. Por lo tanto, incluso utilizando la misma familia de distribución, sus modelos no son comparables en el X Marco IC. No es lo mismo que los parámetros anidados sobre los mismos datos, se trata de datos diferentes.

Recuerde que todos los X Los criterios de CI tienen como objetivo encontrar modelos que minimicen la Divergencia de Kullback-Leibler de dicho modelo de la distribución de probabilidad subyacente a partir de la "verdadera" distribución de probabilidad subyacente (en el caso del AIC y sus descendientes) o del "mejor" modelo candidato de la distribución de probabilidad subyacente (en el caso del BIC y sus descendientes). Si se trata de dos conjuntos de datos diferentes, ¿cómo se puede comparar la distribución de probabilidad subyacente de un conjunto de datos con otro? Sólo con los mismos datos podemos hablar razonablemente de encontrar el "mejor" candidato para la distribución de probabilidad subyacente de esos datos.