¿Se puede hacer la prueba de Hosmer-Lemeshow a ojo (por ejemplo, sólo hay que mirar los valores observados y los esperados en cada grupo y ver si coinciden más o menos)? Incluso si el estadístico de Hosmer-Lemeshow es significativo... ¿puedo decir que el modelo se ajusta bien a los datos para mis fines simplemente observando los valores observados y esperados en cada grupo?
Respuesta
¿Demasiados anuncios?
Vivin Paliath
Puntos
143
Sí. Traza la(s) curva(s) de calibración y saca tus conclusiones a partir de los acuerdos con la línea de 45° correspondiente a la calibración perfecta, teniendo en cuenta la distribución de los riesgos observados y predichos. No es un gran problema si tu modelo no calibra bien en rangos de riesgo altos si no tienes muchos casos en la práctica, especialmente si el evento de interés es raro y/o de bajo riesgo para empezar. Un consejo práctico: si las curvas siguen una forma de J/U (como un palo de hockey, lo reconocerás cuando lo veas), simplemente cubica las estimaciones de probabilidad que arroja tu modelo. Esto suele enderezar las curvas y mejorar sustancialmente la calibración. Es posible que tenga que experimentar con la transformación específica, pero he comprobado que la cubicación suele funcionar bien.
Según mi experiencia, la prueba H-L es una basura, y yo no me basaría en ella para evaluar la calibración del modelo, en absoluto. He conseguido obtener valores p de H-L de $10^{-300}$ a cerca de 1 utilizando el mismo clasificador y el mismo conjunto de datos simplemente variando el tamaño de la muestra, aunque la calibración era casi perfecta visualmente en todos los casos.
