Comprender el AIC y el criterio de Schwarz

Question

Estoy ejecutando un modelo logístico. El conjunto de datos del modelo real tiene más de 100 variables, pero estoy eligiendo un conjunto de datos de prueba en el que hay unas 25 variables. Antes de eso también hice un conjunto de datos que tenía 8-9 variables. Me han dicho que los valores AIC y SC se pueden utilizar para comparar el modelo. Observé que el modelo tenía valores SC más altos incluso cuando la variable tenía valores p bajos ( ej. 0053) . Según mi intuición, un modelo con variables que tienen un buen nivel de significación debería tener valores SC y AIC bajos. Pero no es así. ¿Puede alguien aclarar esto? En resumen quiero hacer las siguientes preguntas:

1. ¿Tiene algo que ver el número de variables con el SC AIC?
2. ¿Debo concentrarme en los valores p o en los valores SC AIC bajos?
3. ¿Cuáles son las formas típicas de reducir los valores AIC del SC?

Answer 1

Es bastante difícil responder a su pregunta de forma precisa, pero me parece que está comparando dos criterios (criterio de información y valor p) que no dan la misma información. Para todos los criterios de información (AIC, o criterio de Schwarz), cuanto más pequeños son, mejor es el ajuste de su modelo (desde una perspectiva estadística), ya que reflejan un compromiso entre la falta de ajuste y el número de parámetros del modelo; por ejemplo, el criterio de Akaike dice $-2\log(\ell)+2k$ , donde $k$ es el número de parámetros. Sin embargo, a diferencia del AIC, el SC es consistente: la probabilidad de elegir incorrectamente un modelo mayor converge a 0 a medida que aumenta el tamaño de la muestra. Se utilizan para comparar modelos, pero es muy posible observar un modelo con predictores significativos que proporciona un mal ajuste (gran desviación residual). Si puede conseguir un modelo diferente con un AIC más bajo, esto es indicativo de un modelo pobre. Y, si el tamaño de su muestra es grande, $p$ -pueden ser bajos, lo que no da mucha información sobre el ajuste del modelo. Al menos, fíjese si el AIC muestra una disminución significativa al comparar el modelo con un intercepto solamente y el modelo con covariables. Sin embargo, si su interés radica en encontrar el mejor subconjunto de predictores, definitivamente tiene que buscar métodos para la selección de variables.

Le sugiero que busque en regresión penalizada que permite realizar una selección de variables para evitar problemas de sobreajuste. Esto se discute en Estrategias de modelado de regresión de Frank Harrell (p. 207 y ss.), o en Moons et al., Estimación de máxima verosimilitud penalizada para ajustar directamente los modelos de predicción diagnóstica y pronóstica por exceso de optimismo: un ejemplo clínico J Clin Epid (2004) 57(12).

Véase también el Diseño ( lrm ) y stepPlr ( step.plr ), o los paquetes R penalizado paquete. Puede consultar las preguntas relacionadas en selección de variables en esta SE.

Answer 2

Agrupación de SC y AIC ES INCORRECTO . Son cosas muy diferentes, aunque la gente las utiliza mucho. El AIC tiene sentido cuando se están prediciendo cosas, el uso de SC en este escenario puede llevar (no todas las veces) a resultados erróneos. Del mismo modo, si estás interesado en hacer una selección de modelos con el principio de parsimonia (la navaja de Occam) SC es mejor. No quiero entrar en los detalles teóricos, pero en pocas palabras SC - es bueno para los modelos parsimoniosos cuando quieres algo equivalente al modelo más simple posible para explicar tus datos, AIC - cuando quieres predecir. El AIC no presupone que el modelo verdadero se encuentre en el espacio del modelo, como hace el SC.

En segundo lugar, el uso conjunto de los valores p y los criterios de información también puede ser engañoso, como explica chl .