Efecto fijo frente a efecto aleatorio cuando se incluyen todas las posibilidades en un modelo de efectos mixtos

Question

En un modelo de efectos mixtos la recomendación es utilizar un efecto fijo para estimar un parámetro si se incluyen todos los niveles posibles (por ejemplo, tanto hombres como mujeres). Se recomienda además utilizar un efecto aleatorio para contabilizar una variable si los niveles incluidos son sólo una muestra aleatoria de una población (pacientes inscritos del universo de posibles pacientes) y se desea estimar la media y la varianza de la población en lugar de las medias de los niveles individuales del factor.

Me pregunto si está lógicamente obligado a utilizar siempre un efecto fijo de esta manera. Considere un estudio sobre cómo cambia el tamaño del pie/calzado a lo largo del desarrollo y está relacionado con, por ejemplo, la altura, el peso y la edad. ${\rm Side}$ claramente debe incluirse en el modelo de alguna manera para dar cuenta del hecho de que las mediciones a lo largo de los años están anidadas dentro de un pie determinado y no son independientes. Además, la derecha y la izquierda son todas las posibilidades que pueden existir. Además, puede ser muy cierto que para un determinado participante su pie derecho sea más grande (o más pequeño) que el izquierdo. Sin embargo, aunque el tamaño de los pies difiere en cierta medida entre todas las personas, no hay ninguna razón para creer que el pie derecho sea, por término medio, más grande que el izquierdo. Si lo son en su muestra, es de suponer que esto se debe a algo relacionado con la genética de las personas de su muestra, más que a algo intrínseco a la condición de pie derecho. Por último, ${\rm side}$ parece un parámetro molesto, no algo que realmente te importe.

Permítanme señalar que me he inventado este ejemplo. Puede que no sea bueno; es sólo para transmitir la idea. Por lo que sé, tener un pie derecho grande y un pie izquierdo pequeño era necesario para sobrevivir en el paleolítico.

En un caso como éste, ¿tendría (más / menos / algún) sentido incorporar ${\rm side}$ en el modelo como efecto aleatorio? ¿Cuáles serían los pros y los contras de utilizar un efecto fijo frente a uno aleatorio en este caso?

Answer 1

Resumen ejecutivo

De hecho, se suele decir que si se incluyen todos los niveles posibles del factor en un modelo mixto, entonces este factor debe tratarse como un efecto fijo. Esto no es necesariamente cierto POR DOS RAZONES DISTINTAS:

(1) Si el número de niveles es grande, entonces puede tiene sentido tratar el factor [cruzado] como aleatorio.

Estoy de acuerdo tanto con @Tim como con @RobertLong en este punto: si un factor tiene un gran número de niveles que están todos incluidos en el modelo (como, por ejemplo, todos los países del mundo; o todas las escuelas de un país; o tal vez toda la población de sujetos encuestados, etc.), entonces no hay nada de malo en tratarlo como aleatorio --- esto podría ser más parsimonioso, podría proporcionar alguna contracción, etc.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Si el factor está anidado dentro de otro efecto aleatorio, hay que tratarlo como aleatorio, independientemente de su número de niveles.

Hubo una gran confusión en este hilo (ver comentarios) porque otras respuestas son sobre el caso #1 de arriba, pero el ejemplo que diste es un ejemplo de diferentes situación, es decir, este caso #2. Aquí sólo hay dos niveles (es decir, ¡no es en absoluto "un gran número"!) y agotan todas las posibilidades, pero son anidado dentro de otro efecto aleatorio , dando lugar a un efecto aleatorio anidado.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

---

Discusión detallada de su ejemplo

Los lados y los sujetos en su experimento imaginario están relacionados como las clases y las escuelas en el ejemplo del modelo jerárquico estándar. Quizá cada escuela (nº 1, nº 2, nº 3, etc.) tenga la clase A y la clase B, y se supone que estas dos clases son aproximadamente iguales. No modelará las clases A y B como un efecto fijo con dos niveles; esto sería un error. Pero tampoco modelará las clases A y B como un efecto aleatorio "separado" (es decir, cruzado) con dos niveles; esto también sería un error. En su lugar, modelará las clases como un efecto aleatorio anidado dentro de las escuelas.

Vea aquí: Efectos aleatorios cruzados y anidados: ¿en qué se diferencian y cómo se especifican correctamente en lme4?

En su estudio imaginario del tamaño del pie, el sujeto y el lado son efectos aleatorios y el lado está anidado dentro del sujeto. Esto significa esencialmente que se forma una variable combinada, por ejemplo, Juan-Izquierda, Juan-Derecha, María-Izquierda, María-Derecha, etc., y hay dos efectos aleatorios cruzados: sujetos y sujetos-lados. Así, para el sujeto $i=1\ldots n$ y para el lado $j=1,2$ tendríamos:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk}+\epsilon_i + \color{red}{\epsilon_{ij}} + \epsilon_{ijk}$$ $$\epsilon_i\sim\mathcal N(0,\sigma^2_\mathrm{subjects}),\quad\quad\text{Random intercept for each subject}$$ $$\color{red}{\epsilon_{ij}}\sim\mathcal N(0,\sigma^2_\text{subject-side}),\quad\quad\text{Random int. for side nested in subject}$$ $$\epsilon_{ijk}\sim\mathcal N(0,\sigma^2_\text{noise}),\quad\quad\text{Error term}$$

Como tú mismo has escrito, "no hay ninguna razón para creer que el pie derecho sea, por término medio, más grande que el izquierdo". Por lo tanto, no debería haber ningún efecto "global" (ni fijo ni aleatorio cruzado) del pie derecho o del izquierdo; en cambio, se puede pensar que cada sujeto tiene "un" pie y "otro" pie, y esta variabilidad deberíamos incluirla en el modelo. Estos "un" y "otro" pie están anidados dentro de los sujetos, de ahí que haya efectos aleatorios anidados.

Más detalles en respuesta a los comentarios. [Sep 26]

Mi modelo anterior incluye Side como efecto aleatorio anidado dentro de Subjects. Aquí hay un modelo alternativo, sugerido por @Robert, donde Side es un efecto fijo:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} + \color{red}{\delta\cdot\text{Side}_j}+\epsilon_i + \epsilon_{ijk}$$

Desafío a @RobertLong o a @gung a que expliquen cómo este modelo puede hacerse cargo de las dependencias existentes para mediciones consecutivas del mismo Lado del mismo Sujeto, es decir, de las dependencias para puntos de datos con el mismo $ij$ combinación.

No puede.

Lo mismo ocurre con el modelo hipotético de @gung con Side como efecto aleatorio cruzado:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} +\epsilon_i + \color{red}{\epsilon_j} + \epsilon_{ijk}$$

Tampoco tiene en cuenta las dependencias.

Demostración mediante una simulación [2 de octubre]

Aquí hay una demostración directa en R.

Genero un conjunto de datos de juguete con cinco sujetos medidos en ambos pies durante cinco años consecutivos. El efecto de la edad es lineal. Cada sujeto tiene un intercepto aleatorio. Y cada sujeto tiene uno de los pies (el izquierdo o el derecho) más grande que otro.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Disculpas por mis pésimas habilidades en R. Así es como se ven los datos (cada cinco puntos consecutivos es un pie de una persona medido a lo largo de los años; cada diez puntos consecutivos son dos pies de la misma persona):

Ahora podemos encajar un montón de modelos:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Todos los modelos incluyen un efecto fijo de age y un efecto aleatorio de subject , pero trata side de manera diferente.

1. Modelo 1: efecto fijo de side . Este es el modelo de @Robert. Resultado: age sale no significativa ( $t=1.8$ ), la varianza residual es enorme (29,81).

2. Modelo 2: efecto aleatorio cruzado de side . Este es el modelo "hipotético" de @gung del OP. Resultado: age sale no significativa ( $t=1.4$ ), la varianza residual es enorme (29,81).

3. Modelo 3: efecto aleatorio anidado de side . Este es mi modelo. Resultado: age es muy significativo ( $t=37$ Sí, treinta y siete), la varianza residual es ínfima (0,07).

Esto demuestra claramente que side debe tratarse como un efecto aleatorio anidado.

Finalmente, en los comentarios @Robert sugirió incluir el efecto global de side como variable de control. Podemos hacerlo, manteniendo el efecto aleatorio anidado:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

Estos dos modelos no difieren mucho del número 3. El modelo 4 arroja un efecto fijo minúsculo e insignificante de side ( $t=0.5$ ). El modelo 5 arroja una estimación de side varianza igual a exactamente cero.

Answer 2

El problema general de los efectos "fijos" y "aleatorios" es que no se definen de forma coherente. Citas de Andrew Gelman varios de ellos:

(1) Los efectos fijos son constantes entre los individuos, y los efectos aleatorios varían. Por ejemplo, en un estudio de crecimiento, un modelo con interceptos aleatorios $a_i$ y pendiente fija $b$ corresponde a líneas paralelas para diferentes individuos $i$ o el modelo $y_{it} = a_i + b_t$ . Kreft y De Leeuw (1998) distinguen así entre coeficientes fijos y aleatorios.

(2) Los efectos son fijos si son interesantes en sí mismos o aleatorios si hay interés en la población subyacente. Searle, Casella y McCulloch (1992, sección 1.4) exploran esta distinción en profundidad.

(3) "Cuando una muestra agota la población, la variable correspondiente es fija; cuando la muestra es una parte pequeña (es decir, insignificante) de la población, la variable correspondiente es aleatoria". (Green y Tukey, 1960)

(4) "Si se supone que un efecto es un valor realizado de una variable aleatoria variable aleatoria, se denomina efecto aleatorio". (LaMotte, 1983)

(5) Los efectos fijos se estiman mediante mínimos cuadrados (o, más generalmente máxima verosimilitud) y los efectos aleatorios se estiman con con contracción ("predicción lineal insesgada" en la terminología de Robinson, 1991). Esta definición es estándar en la literatura de modelos multinivel multinivel (véase, por ejemplo, Snijders y Bosker, 1999, Sección 4.2) y en econometría.

y nota que son no consistente. En su libro Análisis de datos mediante modelos de regresión y multinivel/jerárquicos por lo general evita utilizar esos términos y en su trabajo se centra en los interceptos y pendientes fijos o variables entre grupos porque

Los efectos fijos pueden considerarse como casos especiales de los efectos aleatorios, en los que que la varianza de nivel superior (en el modelo (1.1), sería $\sigma^2_\alpha$ ) se ajusta a $0$ o $\infty$ . Por lo tanto, en nuestro marco todos los parámetros de regresión son "aleatorios", y el término "multinivel" es es un término que lo engloba todo.

Esto es especialmente cierto con el marco bayesiano -comúnmente utilizado para los modelos mixtos- en el que todos los efectos son aleatorios de por sí. Si piensa en un modelo bayesiano, no le preocupan realmente los efectos "fijos" ni las estimaciones puntuales y no tiene ningún problema en tratar todos los efectos como aleatorios.

Cuanto más leo sobre este tema, más me convenzo de que se trata más bien de una discusión ideológica sobre lo que podemos (o debemos) estimar y lo que sólo podemos predecir (aquí podría referirme también a su propia respuesta ). Se utilizan efectos aleatorios si se tiene un muestra aleatoria de los posibles resultados, por lo que no le preocupan las estimaciones individuales y se preocupa más bien por los efectos de la población, que por los individuos. Así que la respuesta a su pregunta depende también de lo que piense si quiere o puede estimar los efectos fijos dados sus datos. Si se incluyen todos los niveles posibles en sus datos, usted puede estimar efectos fijos - también, como en su ejemplo, el número de niveles podría ser pequeño y eso generalmente no sería bueno para estimar efectos aleatorios y hay algunos requisitos mínimos para ello .

Argumento en el mejor de los casos

Digamos que tienes una cantidad ilimitada de datos y una potencia de cálculo ilimitada. En este caso, podría imaginar estimar cada efecto como fijo, ya que los efectos fijos le dan más flexibilidad (nos permiten comparar los efectos individuales). Sin embargo, incluso en este caso, la mayoría de nosotros seríamos reacios a utilizar efectos fijos para todo.

Por ejemplo, imagine que quiere modelar los resultados de los exámenes de las escuelas de alguna región y que tiene datos de las 100 escuelas de la región. En este caso, podría amenazar a las escuelas como si fueran fijas, ya que tiene datos de todos los niveles, pero en la práctica probablemente preferiría piense en de ellos como al azar. ¿Por qué?

1. Una de las razones es que, por lo general, en este tipo de casos no se está interesado en los efectos de las escuelas individuales (y es difícil compararlas todas), sino en una variabilidad general entre las escuelas.

2. Otro argumento aquí es la parsimonia del modelo. Generalmente no se está interesado en un modelo de "todas las influencias posibles", por lo que en el modelo se incluyen pocos efectos fijos que se quieren probar y se controlan las otras posibles fuentes de variabilidad. Esto hace que los modelos de efectos mixtos se ajusten a la forma general de pensar en la modelización estadística, en la que se estima algo y se controla por otras cosas. Con datos complicados (multinivel o jerárquicos) se tienen muchos efectos que incluir, por lo que se amenazan algunos como "fijos" y otros como "aleatorios", de modo que se controla por ellos.

3. En este escenario tampoco se pensaría que cada escuela tiene su propia y única influencia en los resultados, sino que se trataría de escuelas que tienen cierta influencia en general. Así que este argumento sería que creer que no es realmente posible estimar los efectos únicos de las escuelas individuales, por lo que las amenazamos como muestra aleatoria de los posibles efectos de las escuelas.

Los modelos de efectos mixtos se encuentran en un punto intermedio entre los escenarios "todo fijo" y "todo aleatorio". Los datos con los que nos encontramos nos hacen rebajar nuestras expectativas de estimar todo como efectos fijos, por lo que decidimos qué efectos queremos comparar y qué efectos queremos controlar, o tener una sensación general sobre su influencia. No se trata sólo de cuáles son los datos, sino también de cómo pensamos en los datos mientras los modelamos.

Answer 3

Para añadir a las otras respuestas:

No creo que esté lógicamente obligado a utilizar siempre un efecto fijo de la manera descrita en el PO. Incluso cuando no se cumplen las definiciones/directrices habituales sobre cuándo tratar un factor como aleatorio, podría inclinarme por modelarlo como aleatorio cuando hay un gran número de niveles, de modo que tratar el factor como fijo consumiría muchos grados de libertad y daría lugar a un modelo engorroso y menos parsimonioso.

Answer 4

Si te refieres a la situación en la que conoces todos los niveles posibles de un factor de interés, y también tienes datos para estimar los efectos, entonces definitivamente no necesitas representar los niveles con efectos aleatorios.

La razón por la que se quiere establecer un efecto aleatorio a un factor es porque se desea hacer una inferencia sobre los efectos de todos los niveles de ese factor, que suelen ser desconocidos. Para hacer ese tipo de inferencia, se impone el supuesto de que los efectos de todos los niveles forman una distribución normal en general. Pero dada la configuración de su problema, puede estimar los efectos de todos los niveles. Entonces, ciertamente no hay necesidad de establecer efectos aleatorios e imponer una suposición adicional.

Es como la situación en la que eres capaz de obtener todos los valores de la población (por lo tanto, conoces la verdadera media), pero estás tratando de tomar una gran muestra de la población y utilizar el teorema del límite central para aproximar la distribución de muestreo, y luego hacer inferencia sobre la verdadera media.

Answer 5

Siguiendo la discusión anterior, pensé que el lado también podría ser modelado en una pendiente aleatoria a través de los sujetos, es decir con el siguiente modelo LME: lmer(tamaño ~ edad + (1+lado|sujeto), demo) [modelo 4 o lme4] (porque como has dicho: hay una variación aleatoria del tamaño a través de los sujetos y además de esto, una variación aleatoria del efecto secundario a través de los sujetos). He comprobado este modelo en la simulación anterior. Da el mismo resultado que el modelo 3 (anotado lme3 más abajo) (donde el efecto secundario se modeló como un factor aleatorio anidado en el sujeto): t para la Edad = 37, varianza residual = 0,07. El dotplot ayuda a comprender la similitud entre los dos modelos :

• Para el modelo 3: dotplot(ranef(lme3, condVar=T))$side

• Para el modelo 4: dotplot(ranef(lme4, condVar=T))

Me pareció muy ilustrativo y pensé en compartirlo. Esta es mi primera participación aquí, así que espero no estar perdiendo el punto. mejor, N