Directrices del AIC en la selección de modelos

Question

Suelo utilizar el BIC porque tengo entendido que valora la parsimonia más que el AIC. Sin embargo, ahora he decidido utilizar un enfoque más amplio y me gustaría utilizar también el AIC. Sé que Raftery (1995) presentó buenas directrices para las diferencias del BIC: 0-2 es débil, 2-4 es una evidencia positiva de que un modelo es mejor, etc.

He mirado en los libros de texto y parecen extraños en el AIC (parece que una diferencia mayor es débil y una diferencia menor en el AIC significa que un modelo es mejor). Esto va en contra de lo que sé que me han enseñado. Mi entendimiento es que usted quiere menor AIC.

¿Alguien sabe si las directrices de Raftery se extienden también al AIC, o dónde podría citar algunas directrices para la "fuerza de la evidencia" de un modelo frente a otro?

Y sí, los puntos de corte no son geniales (a mí me resultan algo irritantes), pero son útiles a la hora de comparar diferentes tipos de pruebas.

Answer 1

Por lo general, nunca utilizo el AIC o el BIC de forma objetiva para describir el ajuste adecuado de un modelo. I hacer utilizar estos CI para comparar el ajuste relativo de dos modelos de predicción. En cuanto a si un AIC de "2" o "4", es completamente contextual. Si quiere hacerse una idea de cómo se ajusta un "buen" modelo, siempre puede (debería) utilizar una simulación. Su comprensión del AIC es correcta. El AIC recibe un positivo contribución de los parámetros y una negativo contribución de la probabilidad. Lo que se intenta es maximizar la probabilidad sin cargar el modelo con un montón de parámetros. Por lo tanto, mi opinión, que es una burbuja, es que los puntos de corte para el AIC no son buenos fuera de contexto.

Answer 2

Esta es una pregunta relacionada ¿cuándo es apropiado seleccionar modelos minimizando la aic? . Te da una idea general de lo que las personas no irreconocibles en el mundo académico consideran apropiado escribir y qué referencias dejar como importantes.

En general, lo que importa son las diferencias entre las probabilidades o los AIC, no sus valores absolutos. Ha omitido la importante palabra "diferencia" en su "BIC: 0-2 es débil" en la pregunta - consulte la TABLA 6 de Raftery - y es extraño que nadie quiera corregirlo.

A mí me han enseñado a buscar el MAICE (Minimum AIC Estimate - como lo llamó Akaike). ¿Y qué? Esto es lo que una persona famosa escribió a una señora desconocida:

Querida señorita... He leído unas dieciséis páginas de su manuscrito... He sufrido exactamente el mismo tratamiento a manos de mis profesores, que no me querían por mi independencia y pasaban de mí cuando querían ayudantes. y pasaban de mí cuando querían ayudantes... guarde su manuscrito para sus hijos e hijas. para que les sirva de consuelo y no les importe lo que les digan sus profesores. lo que sus maestros les digan o piensen de ellos. ... Hay demasiada educación en conjunto.

Mis profesores nunca oyeron hablar de trabajos con títulos como "Una prueba de si dos AIC difieren significativamente" y ni siquiera recuerdo que llamaran al AIC un estadístico, que tendría una distribución de muestreo y otras propiedades. Me enseñaron que el AIC es un criterio que hay que minimizar, si es posible de alguna manera automática.

Otra cuestión importante, que creo que fue expresada aquí hace unos años por IrishStat (de memoria, por lo que pido disculpas si me equivoco, ya que no pude encontrar la respuesta) es que el AIC, el BIC y otros criterios se han derivado para diferentes propósitos y bajo diferentes condiciones (supuestos), por lo que a menudo no se pueden utilizar indistintamente si su propósito es la previsión, por ejemplo. No se puede preferir algo inapropiado.

Mis fuentes muestran que utilicé una cita de Burnham y Anderson (2002, p.70) para escribir que el delta (diferencias AIC) dentro de 0-2 tiene un apoyo sustancial; el delta dentro de 4-7 un apoyo considerablemente menor y el delta mayor de 10 esencialmente ningún apoyo. Además, escribí que "los autores también discutieron las condiciones en las que estas directrices pueden ser útiles". El libro se cita en la respuesta de Stat, que voté como más relevante.

Answer 3

En cuanto a los criterios de información, esto es lo que SAS dice:

"Tenga en cuenta que los criterios de información como el de Akaike (AIC), el de Schwarz (SC, BIC) y el QIC pueden utilizarse para comparar modelos no anidados que compiten entre sí, pero no proporcionan una prueba de la comparación. En consecuencia, no pueden indicar si un modelo es significativamente mejor que otro. Los procedimientos GENMOD, LOGISTIC, GLIMMIX, MIXED y otros proporcionan medidas de criterios de información".

Existen dos procedimientos de prueba de modelos comparativos: a) la prueba de Vuong y b) la prueba no paramétrica de Clarke. Véase este papel para más detalles.