¿Qué diferencia hay entre los modelos de efectos aleatorios, fijos y marginales?

Question

Estoy intentando ampliar mis conocimientos de estadística. Vengo de una formación en ciencias físicas con un enfoque "basado en recetas" para las pruebas estadísticas, donde decimos es continuo, se distribuye normalmente -- regresión OLS .

En mi lectura he encontrado los términos: modelo de efectos aleatorios, modelo de efectos fijos, modelo marginal. Mis preguntas son:

• En términos muy sencillos, ¿qué son?
• ¿Cuáles son las diferencias entre ellos?
• ¿Alguno de ellos es sinónimo?
• ¿Qué lugar ocupan en esta clasificación las pruebas tradicionales como la regresión OLS, ANOVA y ANCOVA?

Solo intento decidir a dónde ir ahora con el autoestudio.

Answer 1

Esta cuestión se ha debatido parcialmente en este sitio, como se indica a continuación, y las opiniones parecen encontradas.

• ¿Cuál es la diferencia entre los modelos de efectos fijos, aleatorios y mixtos?
• ¿Cuál es la diferencia matemática entre efectos aleatorios y fijos?
• Conceptos de los modelos de efectos fijos/aleatorios

Todos los términos están generalmente relacionados con datos longitudinales / de panel / agrupados / jerárquicos y medidas repetidas (en el formato de regresión avanzada y ANOVA), pero tienen múltiples significados en diferentes contextos. Me gustaría responder a la pregunta con fórmulas basadas en mis conocimientos.

Modelo de efectos fijos

• En bioestadística, los efectos fijos, denotados como $\color{red}{\boldsymbol\beta}$ en la ecuación (*) que figura a continuación, suele ir acompañada de efectos aleatorios. Pero el modelo de efectos fijos también se define para suponer que las observaciones son independientes, como el ajuste transversal, como en Análisis longitudinal de datos de Hedeker y Gibbons (2006).
• En econometría, el modelo de efectos fijos puede escribirse como $$ y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$$ donde $\color{red}{u_i}$ es el intercepto fijo (no aleatorio) para cada sujeto ( $i$ ), o también podemos tener un efecto fijo como $u_j$ para cada medición repetida ( $j$ ); $\boldsymbol x_{ij}$ denota covariables.
• En el metaanálisis, el modelo de efectos fijos asume que el efecto subyacente es el mismo en todos los estudios (por ejemplo, Mantel y Haenszel, 1959).

Modelo de efectos aleatorios

• En bioestadística, el modelo de efectos aleatorios (Laird y Ware, 1982) puede escribirse como $$\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$$ donde $\color{blue}{\boldsymbol u_i}$ se supone que sigue una distribución. $\boldsymbol x_{ij}$ denota covariables para efectos fijos, y $\boldsymbol z_{ij}$ denota covariables para efectos aleatorios.
• En econometría, el modelo de efectos aleatorios sólo puede referirse a modelo de intercepción aleatoria como en bioestadística, es decir $\boldsymbol z_{ij}^{'}=1$ et $\boldsymbol u_i$ es un escalar.
• En el metaanálisis, el modelo de efectos aleatorios asume efectos heterogéneos entre los estudios (DerSimonian y Laird, 1986).

Modelo marginal

El modelo marginal suele compararse con el modelo condicional (modelo de efectos aleatorios), y el primero se centra en la media de la población (tomemos como ejemplo el modelo lineal) $$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$$ mientras que la segunda se ocupa de la media condicional $$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$$ La interpretación y la escala de los coeficientes de regresión entre el modelo marginal y el modelo de efectos aleatorios serían diferentes para los modelos no lineales (por ejemplo, la regresión logística). Sea $h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$ entonces $$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$$ a menos que trivialmente la función de enlace $h$ es el vínculo de identidad (modelo lineal), o $u_i=0$ (sin efectos aleatorios). Algunos buenos ejemplos son las ecuaciones de estimación generalizada (GEE; Zeger, Liang y Albert, 1988) y los modelos multinivel marginalizados (Heagerty y Zeger, 2000).

Answer 2

Corrígeme si me equivoco:

Conceptualmente, hay cuatro efectos posibles: Intercepto fijo, coeficiente fijo, intercepto aleatorio, coeficiente aleatorio. La mayoría de los modelos de regresión son de "efectos aleatorios", por lo que tienen interceptos aleatorios y coeficientes aleatorios. El término "efecto aleatorio" se utilizó en contraposición al de "efecto fijo".

Se habla de "efecto fijo" cuando una variable afecta a una parte de la muestra, pero no a toda. La versión más sencilla de un modelo de efectos fijos (conceptualmente) sería una variable ficticia, para un efecto fijo con un valor binario. Estos modelos tienen un único intercepto aleatorio, coeficientes de efecto fijo y coeficientes de variable aleatoria.

El siguiente nivel de complicación (conceptualmente) es cuando el efecto fijo no es binario, sino nominal, con muchos valores. En este caso, lo que se genera es un modelo con muchos interceptos (uno para cada uno de los valores nominales). Aquí es donde se obtienen las clásicas "líneas múltiples" de un modelo de datos de panel donde cada una de las "opciones" de una variable de efecto fijo tiene su propio efecto. La virtud de incluir todas las series de datos específicos de los distintos factores en una única regresión (en lugar de hacer cada factor del efecto fijo como su propia regresión) es que se consigue agrupar la varianza de todos los efectos diferentes en una ecuación, y así obtener valores mejores (más seguros) para todos los coeficientes.

El "nivel tres" de complicación sería cuando el "efecto fijo" es en sí mismo una variable aleatoria, salvo que sus efectos están "fijados" para afectar sólo a un subconjunto de la muestra. En ese caso, el modelo tendría un intercepto aleatorio, múltiples interceptos fijos y múltiples variables aleatorias. Creo que esto es lo que se conoce como modelo de "efectos mixtos".

Los modelos de "efectos mixtos" se utilizan para la modelización multinivel (MLM), ya que los "efectos fijos" pueden utilizarse para anidar un subconjunto de datos dentro de otro. Esta agrupación puede tener múltiples niveles, con estudiantes anidados dentro de aulas, anidados dentro de escuelas. La escuela es un efecto fijo sobre las aulas, y las aulas sobre los estudiantes. (La escuela puede o no ser un efecto fijo en el estudiante, dependiendo del diseño experimental, no estoy seguro).

Los modelos de datos de panel son modelos de "efectos mixtos", pero utilizan dos dimensiones para la agrupación, normalmente el tiempo y algún tipo de categoría.