La variable es significativa a través de la regresión por pasos, pero no en el resumen del modelo final; ¿de qué debo informar?

Question

Utilicé modelos lineales mixtos generalizados (con el glmmADMB package) para identificar los factores ambientales relacionados con la abundancia de parásitos en los roedores. Utilicé la eliminación hacia atrás por pasos para simplificar secuencialmente el modelo completo hasta que sólo quedaran los factores significativos y los términos de interacción (Crawley, 2007). Sin embargo, cuando comprobé el resumen del modelo final, uno de los factores dejó de ser significativo ( p = 0.087 ). Sin embargo, en las pruebas de ANOVA que condujeron al modelo final, esta variable (temperatura) es significativa:

Resumen del modelo final:

Coefficients:           
                Estimate Std. Error z value Pr(>|z|)                
(Intercept)     3.131658   0.213630   15.33  < 2e-16            
temperature    -0.004019  0.0033143   -1.71  0.08673 .

anova

Model 1: parasites ~ age + vegetation + synchrony       
Model 2: parasites ~ temperature + age + vegetation + synchrony

  NoPar  LogLik Df Deviance Pr(>Chi)        
1     7 -550.75                             
2     8 -546.81  1    7.898 **0.004949**    

Mis preguntas son: ¿qué valor de significación debo comunicar? ¿Significa esto que la temperatura no es importante? He visto manuscritos que informan de los valores del resumen del modelo final, pero también algunos que informan de los valores de significación de las comparaciones del modelo, ¿cuál es el correcto?

Answer 1

Debe informar de la significación (junto con todo lo demás) del modelo completo inicial. Como señala @Frank Harrell, la selección de modelos por pasos no es válida. (Si quieres entender esto más a fondo, puede ayudarte leer mi respuesta aquí .) La gente suele creer que dejar las variables "no significativas" en un modelo provocará que éste esté sobreajustado, pero es más probable que si se observan los datos y se sigue cambiando el modelo hasta que dé una imagen que le guste, se obtenga un modelo sobreajustado. Si le preocupa que la precisión predictiva del modelo pueda verse afectada por la inclusión de otras variables, o que los estadísticos de ajuste del modelo (como $R^2$ ) serán demasiado optimistas, puede estimarlas mediante validación cruzada. Una regla general es que estará bien si tiene al menos 10 datos por variable en su modelo.

En cuanto a la razón por la que se obtienen los resultados aparentemente contraintuitivos que se encuentran, el algoritmo por pasos no tiene forma de saber cuáles son las variables, cuáles son sus relaciones entre sí o qué debe permanecer en el modelo. Esa es una de las razones por las que produce resultados tan pobres. Mi opinión es que las otras variables, cuando se incluyen en el modelo, absorben más variabilidad residual de la que consumen en grados de libertad (véase la respuesta de @whuber aquí ). También sospecho que puede haber cierta colinealidad entre ellos, de manera que ninguno aparezca como "significativo", pero que todos deban incluirse de todos modos. Este tipo de cosas puede ocurrir muy fácilmente, y es otro ejemplo de algo que los métodos de selección por pasos no pueden detectar. Puede comprobarlo eliminando los tres y realizando una prueba de modelo anidado.

Answer 2

La única respuesta correcta es ninguna de las dos † . Como dice @Nick, los valores p no están mal vistos en sí mismos; no se puede garantizar que las técnicas por pasos produzcan malos modelos: pero ¿por qué mirar los valores p calculados después de seguir un procedimiento que los invalida?

La idea de la selección de variables es obtener un modelo que predice mejor introduciendo un poco de sesgo en las predicciones pero reduciendo mucho su varianza. Incluso si lo consigues, no tiene sentido "olvidar" que lo has hecho y llevar a cabo inferencia en los coeficientes del modelo reducido como si no lo hubieras hecho.

(Peor que usar el stepwise es usar el stepwise para tratar de arreglar un problema que puede no importarle demasiado, sin comprobar si de hecho tiene ese problema, y luego no comprobar si el stepwise mejoró o empeoró las cosas - por lo que debe considerar para qué se va a usar su modelo, y, si todavía quiere usar el stepwise, validar los modelos completos y reducidos).

[P.D.: Crawley (2007) da un mal consejo sobre la modelización. Pasar de la Navaja de Occam a la selección escalonada es un claro sinsentido: aunque a menudo hay otras razones, además de la mejora potencial del rendimiento predictivo, para querer ajustar modelos más simples, no hay ninguna razón para suponer que la selección escalonada tenga en cuenta esas razones. Si usted cree que un efecto pequeño es local, temporal o artefactual, tiene todo el derecho a proponer un modelo científico que lo excluya (invocando el "Principio de Parsimonia" si quiere sonar grandilocuente); esto no tiene nada que ver con que la variable en cuestión desaparezca o no durante la selección por pasos].

† A menos que el modelo 2 de la prueba ANOVA en cuestión sea el modelo completo.

Answer 3

Parece que está obteniendo dos valores p diferentes porque se están realizando dos pruebas distintas. El valor p en el resumen del modelo parece una prueba de Wald, y el valor p en la salida del 'anova' es una prueba de razón de verosimilitud. Las dos pruebas son asintóticamente equivalentes, pero en muestras pequeñas podría haber diferencias, especialmente en las colas de las distribuciones de muestreo. La prueba de Wald es una prueba más sencilla que es fácil de calcular basándose sólo en las estimaciones de los parámetros y sus errores estándar (asintóticos). La prueba de la razón de verosimilitud, en cambio, requiere las verosimilitudes de un modelo completo y otro reducido. Así que "la prueba de la razón de verosimilitud es más exigente desde el punto de vista computacional, pero es más potente y fiable". La prueba de razón de verosimilitudes es casi siempre preferible a la prueba de Wald, a menos que las exigencias computacionales hagan poco práctico el reajuste del modelo".
http://support.sas.com/documentation/cdl/en/statug/66859/HTML/default/viewer.htm#statug_glimmix_details31.htm

Como comentario aparte, en realidad la pregunta no tiene nada que ver con los argumentos y contraargumentos relativos a los procedimientos de selección por etapas. Aunque la policía de los escalones saltó inmediatamente sobre eso. El problema al que se refería la pregunta puede ocurrir incluso si no se realiza una selección de predictores.

Ahora bien, tal vez haya algunos ajustes que puedan ayudar a mejorar el rendimiento de los denostados procedimientos por pasos; por ejemplo, no tener un alfa estático, sino un nivel de significación que cambie según el número de reajustes del modelo que se realice, por ejemplo, correcciones FDR que tengan en cuenta la dependencia de las estadísticas de las pruebas, o funciones de gasto de alfa. Otras opciones podrían ser el remuestreo y el promedio de modelos, etc. Todo lo que digo es que hay que tener la mente abierta. No hay nada malo en intentar eliminar el ruido o los predictores inútiles de un modelo; como dijo George Box "Dado que todos los modelos son erróneos, el científico no puede obtener uno 'correcto' mediante una elaboración excesiva. Por el contrario, siguiendo a Guillermo de Occam, debe buscar una descripción económica de los fenómenos naturales. Al igual que la capacidad de concebir modelos simples pero evocadores es la firma del gran científico, el exceso de elaboración y parametrización suele ser la marca de la mediocridad." http://en.wikiquote.org/wiki/George_E._P._Box

Aunque estoy de acuerdo en que la inferencia sobre el modelo "final" podría requerir algunos ajustes, o al menos una nota de precaución.