La adición de efectos aleatorios influye en las estimaciones de los coeficientes

Question

Siempre me han enseñado que los efectos aleatorios sólo influyen en la varianza (error), y que los efectos fijos sólo influyen en la media. Pero he encontrado un ejemplo en el que los efectos aleatorios influyen también en la media: la estimación del coeficiente:

require(nlme)
set.seed(128)
n <- 100
k <- 5
cat <- as.factor(rep(1:k, each = n))
cat_i <- 1:k # intercept per kategorie
x <- rep(1:n, k)
sigma <- 0.2
alpha <- 0.001
y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma)
plot(x, y)

# simulate missing data
y[c(1:(n/2), (n*k-n/2):(n*k))] <- NA

m1 <- lm(y ~ x)
summary(m1)

m2 <- lm(y ~ cat + x)
summary(m2)

m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit)
summary(m3)

Puede verse que el coeficiente estimado para x del modelo m1 es -0,013780, mientras que en el modelo m3 es 0,0011713 - ambos significativamente diferentes de cero.

Nótese que cuando elimino la línea que simula datos perdidos, los resultados son los mismos (es matriz completa).

¿Por qué?

PD: tenga en cuenta que no soy estadístico profesional, así que si va a responder con muchas matemáticas, haga también un resumen sencillo para dummies :-)

Answer 1

"Siempre me han enseñado que los efectos aleatorios sólo influyen en la varianza (error), y que los efectos fijos sólo influyen en la media".

Como ha descubierto, esto sólo es cierto para conjuntos de datos equilibrados y completos (es decir, sin datos perdidos) sin predictores continuos. En otras palabras, para los tipos de datos/modelos analizados en los textos clásicos de ANOVA. En estas circunstancias ideales, los efectos fijos y los efectos aleatorios pueden estimarse de forma independiente.

Cuando estas condiciones no se cumplen (como ocurre muy a menudo en el "mundo real"), los efectos fijos y aleatorios no son independientes. Como curiosidad, esta es la razón por la que los modelos mixtos "modernos" se estiman utilizando métodos de optimización iterativos, en lugar de resolverse exactamente con un poco de álgebra matricial como en el caso del ANOVA mixto clásico: para estimar los efectos fijos, tenemos que conocer los efectos aleatorios, pero para estimar los efectos aleatorios, ¡tenemos que conocer los efectos fijos! Más relevante para la cuestión que nos ocupa, esto también significa que cuando los datos están desequilibrados/incompletos y/o hay predictores continuos en el modelo, el ajuste de la estructura de efectos aleatorios del modelo mixto puede alterar las estimaciones de la parte fija del modelo, y viceversa.

Editar 2016-07-05. De los comentarios: " ¿Podría explicar o citar por qué los predictores continuos influyen en las estimaciones de la parte fija del modelo? "

Las estimaciones de la parte fija del modelo dependerán de las estimaciones de la parte aleatoria del modelo, es decir, de los componentes estimados de la varianza, si (pero no sólo si) la varianza de la parte fija del modelo depende de la parte aleatoria del modelo, es decir, de los componentes estimados de la varianza. predictores difiere según las agrupaciones. Lo que casi con toda seguridad será cierto si alguno de los predictores es continuo (al menos en los datos del "mundo real"; en teoría, sería posible que esto no fuera cierto, por ejemplo, en un conjunto de datos construido).

Answer 2

En un primer nivel, creo que todo lo que estás ignorando contracción hacia los valores de la población; " las pendientes e interceptos por sujeto del modelo de efectos mixtos se acercan más a las estimaciones de población que las estimaciones por mínimos cuadrados dentro del sujeto. " [ref. 1]. El siguiente enlace probablemente también será de ayuda ( ¿Cuáles son los descriptivos adecuados para mis modelos mixtos? ), véase la respuesta de Mike Lawrence).

Además, creo que en tu ejemplo de juguete tienes un poco de mala suerte porque tienes un diseño perfectamente equilibrado que hace que tengas exactamente la misma estimación en el caso de que no falten valores.

Pruebe el siguiente código que tiene el mismo proceso con ningún valor que falta ahora:

 cat <- as.factor(sample(1:5, n*k, replace=T) ) #This should be a bit unbalanced.
 cat_i <- 1:k # intercept per kategorie
 x <- rep(1:n, k)
 sigma <- 0.2
 alpha <- 0.001
 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma) 

 m1 <- lm(y ~ x)  
 m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit) 

 round(digits= 7,fixef(m3)) ==  round(digits=7, coef(m1)) #Not this time lad.
 #(Intercept)           x 
 #      FALSE       FALSE 

Donde ahora, debido a que tu diseño no está perfectamente equilibrado no tienes las mismas estimaciones de coeficientes.

En realidad si juegas con tu patrón de valores perdidos de una manera tonta ( así por ejemplo: y[ c(1:10, 100 + 1:10, 200 + 1:10, 300 + 1:10, 400 +1:10)] <- NA ) para que tu diseño siga estando perfectamente equilibrado volverás a obtener los mismos coeficientes.

 require(nlme)
 set.seed(128)
 n <- 100
 k <- 5
 cat <- as.factor(rep(1:k, each = n))
 cat_i <- 1:k # intercept per kategorie
 x <- rep(1:n, k)
 sigma <- 0.2
 alpha <- 0.001
 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma)
 plot(x, y)

 # simulate missing data in a perfectly balanced way
 y[ c(1:10, 100 + 1:10, 200 + 1:10, 300 + 1:10, 400 +1:10)] <- NA

 m1 <- lm(y ~ x)  
 m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit) 

 round(digits=7,fixef(m3)) ==  round(digits=7, coef(m1)) #Look what happend now...
 #(Intercept)           x 
 #       TRUE        TRUE 

Estás marginalmente equivocado por el perfecto diseño de tu experimento original. Al insertar los NA de forma no equilibrada, cambiaste el patrón de cuánta "fuerza" podían tomar prestada cada uno de los sujetos.

En resumen, las diferencias que se observan se deben a efectos de contracción y, más concretamente, a que usted distorsionó su diseño original perfectamente equilibrado con valores perdidos no perfectamente equilibrados.

Ref 1: Douglas Bates lme4:Modelización de efectos mixtos con R páginas 71-72