¿Tiene sentido comparar modelos?

Question

Supongamos que tengo 3 factores f1, f2 y f3 y ajusto estos modelos

m1 <- lmer(y ~ f1 + (1|sub))
m2 <- lmer(y ~ f1*f2 + (1|sub))
m3 <- lmer(y ~ f1*f2*f3 + (1|sub))

¿Tiene sentido comparar los modelos con anova(m1,m2,m3)? ¿O primero debería probar cada paso individualmente?

m1 <- lmer(y ~ f1 + (1|sub))
m2 <- lmer(y ~ f1 + f2 + (1|sub))
m3 <- lmer(y ~ f1 + f2 + f3 + (1|sub))
m4 <- lmer(y ~ f1*f2 + f3 + (1|sub))
etc

Supongo que el segundo ejemplo es correcto. Pero, ¿qué pasa si m1 y m2 no difieren estadísticamente? ¿Significa eso que no debo incluir f2 y f3 en mi modelo? Pero, ¿y si por ejemplo f2 y f3 son significativos en el modelo m3? Esto ocurre con mis datos reales, por ejemplo m1 no es significativamente diferente de m2, pero f1 interactúa significativamente con f2 cuando se agrega la interacción al modelo. Simplemente no veo el punto en comparar modelos en ese caso.

Answer 1

Sería mejor realizar la prueba omnibus para todas las interacciones juntas, es decir,

fm_additive <- lmer(y ~ f1 + f2 + f3 + (1 | sub))
fm_inter <- lmer(y ~ f1 * f2 * f3 + (1 | sub))
anova(fm_additive, fm_inter)

y a partir de ahí ver si alguna de las interacciones parece ofrecer algo al incluirlas en el modelo.

Answer 2

El segundo enfoque que describes se llama regresión paso a paso y no es una buena idea. Deberías basar la inclusión de variables en primer lugar en una base teórica. Si crees que f1, f2 y f3 solo son significativos si se incluye su interacción entre sí, entonces el primer método para compararlos sería mejor.

Ten en cuenta que un modelo con más parámetros siempre produce un mejor ajuste. Sin embargo, un mejor ajuste no es un mejor modelo, ya que puede sobreajustarse a la muestra y predecir mal las nuevas observaciones.

Podría beneficiarte leer, por ejemplo, esta pregunta (y sus muchas advertencias sobre la regresión paso a paso expresadas en los comentarios y la mejor respuesta) o la respuesta aquí.