Promedio del modelo: importancia del predictor frente a la importancia

Question

¿Cuál es la forma correcta de informar de los resultados del promedio de los modelos? Estoy usando MuMin en R, los resultados incluyen un valor p. También es posible obtener la importancia de cada predictor. Ejemplo de resultados a continuación.

¿Cuál es exactamente la diferencia y cómo la interpreto? ¿Qué significa, por ejemplo, que un predictor sea importante pero no significativo, o viceversa? ¿Y cuál es el mejor para informar?

Ejemplo de resultados de dredge() con un modelo de efectos mixtos ajustado en lme4 :

Model-averaged coefficients:
(full average) 
                          Estimate Std. Error Adjusted SE z value Pr(>|z|)    
(Intercept)                0.56610    0.24118     0.24233   2.336 0.019491 *  
Var1                      -0.91115    0.23856     0.23968   3.802 0.000144 ***
Var5                       0.08168    0.23656     0.23769   0.344 0.731132    
Var7                       0.22617    0.31847     0.31918   0.709 0.478575    
Var8                       0.11879    0.18559     0.18635   0.637 0.523808    
Var3                      -1.02662    0.37856     0.38034   2.699 0.006950 ** 
Var2                      -0.14402    0.23801     0.23868   0.603 0.546239    
Var4                      -1.03832    0.34015     0.34174   3.038 0.002379 ** 
Var1:Var8                  0.37484    0.28242     0.28289   1.325 0.185163    
Var1:Var3                 -0.92612    0.49060     0.49291   1.879 0.060262 .  
Var5:Var4                  0.65352    0.25435     0.25557   2.557 0.010556 *  
Var3:Var4                 -1.48070    0.66730     0.67048   2.208 0.027215 *  
Var9                      -0.05323    0.14171     0.14212   0.375 0.707990    
Var1:Var9                 -0.13693    0.24729     0.24749   0.553 0.580071    
Var3:Var2                  0.17222    0.51119     0.51240   0.336 0.736796    
Var8:Var2                 -0.01018    0.07237     0.07260   0.140 0.888497    
Var10                     -0.01141    0.08486     0.08519   0.134 0.893453    
Var10:Var7                 0.02179    0.11146     0.11162   0.195 0.845195 

> as.data.frame(importance(full.model.avg))
                   importance(full.model.avg)
Var1                               1.00000000
Var5                               1.00000000
Var3                               1.00000000
Var4                               1.00000000
Var1:Var3                          1.00000000
Var5:Var4                          1.00000000
Var3:Var4                          1.00000000
Var8                               0.73030645
Var1:Var8                          0.73030645
Var2                               0.70616912
Var7                               0.49817802
Var9                               0.26969355
Var1:Var9                          0.26969355
Var3:Var2                          0.18443111
Var10                              0.15009082
Var8:Var2                          0.05819205
Var10:Var7                         0.05183653

Answer 1

En primer lugar, hay que ser muy cauteloso a la hora de utilizar un método automatizado para seleccionar los modelos. El propio nombre de "dragado" tiene connotaciones negativas entre los estadísticos. no es una buena idea por muchas razones. Incluso el autor del paquete lo desaconseja en una nota al final del página del manual para dredge() :

Los usuarios deben tener en cuenta los peligros que supone un "enfoque irreflexivo" de evaluación de todos los modelos posibles. Aunque este procedimiento es en ciertos casos útil y justificado, puede dar lugar a la selección de un "mejor" modelo espurio, debido al sesgo de selección de modelos. "Dejar que el ordenador lo descubra" es una estrategia pobre y suele reflejar que el investigador no se molestó en pensar claramente en el problema de interés y en su entorno científico (Burnham y Anderson, 2002).

Aunque el enfoque de promediación de modelos tiene ventajas sobre la elección del mejor modelo de un conjunto de modelos, sigue corriendo el riesgo de dar lugar a un modelo que dependa demasiado de las peculiaridades del conjunto de datos en cuestión. Si va a utilizar este enfoque, considere la posibilidad de repetir el análisis en múltiples muestras bootstrap del conjunto de datos para ver la estabilidad de los resultados de la selección y el promedio del modelo.

La respuesta a su pregunta es que los valores p y las importancias indicadas por este paquete representan diferentes tipos de medias.

Los pesos se asignan a cada uno de los modelos seleccionados (por ejemplo, a través de dredge() ), con la ponderación por defecto, según entiendo, de las probabilidades relativas de los modelos frente al mejor modelo, evaluado por el Criterio de información de Akaike . Ahora tiene una lista de modelos, cada uno con sus variables predictoras incluidas y sus términos de interacción incluidos, y con su propio peso del modelo.

En un modelo completo promedio como el que usted utilizó, el valor del coeficiente de un predictor individual o término de interacción se establece en 0 en todos los modelos de los que se omite. A continuación, para cada predictor y término de interacción, todos sus valores de coeficiente y las varianzas de coeficiente asociadas se combinan en un promedio ponderado por el peso del modelo correspondiente. Los intervalos de confianza y los valores p de cada coeficiente promediado ponderado se basan en una distribución normal*.

La función importance() es otro nombre para el sw() que informa de la "suma de los pesos del modelo sobre todos los modelos que incluyen cada variable explicativa", según la página del manual. A partir de su resultado, parece normalizar esta suma de pesos por la suma de todos los pesos del modelo. Por lo tanto, se trata de un tipo diferente de media: para cada predictor o interacción, se basa en la pesos de todos los modelos que lo incluían independientemente de la importancia del predictor en el modelo.

Parece que todos los predictores e interacciones "significativos" en el modelo promediado tenían una importancia de 1 en esa última base, pero hay varios con una importancia elevada pero con valores p altos en el modelo promediado. Parece que esos términos se incluyeron en todos los modelos retenidos por dredge() aunque en muchos de ellos no eran significativos por sí solos.

Es posible que su importancia tenga que ver con que ayudan a resaltar la importancia de otros predictores. Habría que examinar los modelos individuales y las ponderaciones para decir algo más concreto. Alguna evaluación de por qué algunos predictores "insignificantes" fueron aparentemente retenidos en todos los modelos podría decir algo interesante sobre la naturaleza de lo que estás examinando.

En cuanto a qué es mejor denunciar, ¿por qué no denunciar ambas cosas? Representan cosas diferentes. Además, recomendaría que se informara al menos del número de modelos retenidos frente al número de modelos evaluados por dredge() e informe en sus métodos de los criterios por los que se seleccionaron y promediaron los modelos. Aunque la lectura del manual del programa informático podría aclararlo, sus lectores deberían poder hacerse una idea general del enfoque a partir de su propia presentación.

---

*Los detalles se pueden encontrar en el código R, en particular para el par.avg() función.