Hosmer-Lemeshow vs AIC para la regresión logística

Question

Si el Hosmer-Lemeshow indica una falta de ajuste, pero el AIC es el más bajo de todos los modelos...., ¿debe seguir utilizando el modelo?

Si elimino una variable, el estadístico Hosmer-Lemeshow no es significativo (lo que significa que no hay una falta de ajuste grave). Pero el AIC aumenta.

Editar : Creo que, en general, si los AIC de los diferentes modelos están cerca (es decir $<2$ ) entre sí, entonces son básicamente lo mismo. Pero los AIC son muy diferentes. Esto parece indicar que el que tiene el AIC más bajo es el que debo utilizar aunque la prueba de Hosmer-Lemeshow indique lo contrario.

¿También puede ser que la prueba H-L sólo se aplique a muestras grandes? Tiene poca potencia para tamaños de muestra pequeños (mi tamaño de muestra es de ~300). Pero si estoy obteniendo un resultado significativo... Esto significa que incluso con baja potencia estoy obteniendo un rechazo.

¿Habría alguna diferencia si utilizara AICc frente a AIC? ¿Cómo se obtienen los AICc en SAS? Sé que podría haber problemas con la multiplicidad. Pero a priori Mi hipótesis es que las variables tienen un efecto sobre el resultado.

¿Algún comentario?

Edición2 : Creo que debería utilizar el modelo con una variable menos y el AIC más alto con H-L no significativo. La razón es que dos de las variables están correlacionadas entre sí. Así que deshacerse de una tiene sentido.

Answer 1

La prueba de Hosmer-Lemeshow es hasta cierto punto obsoleta porque requiere un binning arbitrario de las probabilidades predichas y no posee una potencia excelente para detectar la falta de calibración. Además, no penaliza del todo el sobreajuste extremo del modelo. Existen métodos mejores, como Hosmer, D. W.; Hosmer, T.; le Cessie, S. & Lemeshow, S. A comparison of goodness-of-fit tests for the logistic regression model. Estadísticas en medicina , 1997, 16 , 965-980. Su nueva medida se implementa en el R rms paquete. Y lo que es más importante, este tipo de evaluación sólo se ocupa de la calibración general del modelo (concordancia entre lo predicho y lo observado) y no se ocupa de la falta de ajuste, como la transformación incorrecta de un predictor. De hecho, tampoco lo hace el AIC, a menos que se utilice para comparar dos modelos en los que uno es más flexible que el otro. Creo que usted está interesado en la discriminación predictiva, para la cual un $R^2$ medida, complementada por $c$ -(área ROC) puede ser más apropiado.