En la práctica, ¿cómo se calcula la matriz de covarianza de efectos aleatorios en un modelo de efectos mixtos?

Question

Básicamente lo que me pregunto es cómo se aplican las diferentes estructuras de covarianza y cómo se calculan los valores dentro de estas matrices. Funciones como lme() nos permiten elegir qué estructura nos gustaría, pero me encantaría saber cómo se estiman.

Consideremos el modelo lineal de efectos mixtos $Y=X\beta+Zu+\epsilon$ .

Dónde $u \stackrel{d}{\sim} N(0,D)$ y $\epsilon \stackrel{d}{\sim} N(0,R)$ . Además:

$Var(Y|X,Z,\beta,u)=R$

$Var(Y|X,\beta)=Z'DZ+R=V$

Para simplificar, supondremos que $R=\sigma^2I_n$ .

Básicamente mi pregunta es: ¿Cómo es exactamente $D$ estimado a partir de los datos para las distintas parametrizaciones? Digamos que si suponemos $D$ es diagonal (los efectos aleatorios son independientes) o $D$ totalmente parametrizado (caso que me interesa más en este momento) o cualquiera de las otras parametrizaciones? ¿Existen estimadores/ecuaciones sencillas para ellos? (Que sin duda se estimarían iterativamente).

EDITAR: Del libro Variance Components (Searle, Casella, McCulloch 2006) he conseguido entresacar lo siguiente:

Si $D=\sigma^2_uI_q$ a continuación se actualizan los componentes de la varianza y se calculan del siguiente modo:

$\sigma_u^{2(k+1)} = \frac{\hat{\textbf{u}}^T\hat{\textbf{u}}} {\sigma_u^{2(k)}\text{trace}(\textbf{V}^{-1}\textbf{Z}^T\textbf{Z})}$

$\sigma_e^{2(k+1)} = Y'(Y-X{\hat{\beta}}^{(k)}-{Z}\hat{{u}}^{(k)})/n$

Dónde $\hat{\beta}^{(k)}$ y $\hat{{u}}^{(k)}$ son los $k$ respectivamente.

¿Existen fórmulas generales cuando $D$ ¿es diagonal en bloque o totalmente parametrizado? Supongo que en el caso totalmente parametrizado, se utiliza una descomposición de Cholesky para garantizar la definición positiva y la simetría.

Answer 1

Harvey Goldstein no es un mal punto de partida.

Como ocurre con la mayoría de los métodos de estimación complejos, varía en función del paquete de software. Sin embargo, a menudo lo que se hace es en los siguientes pasos:

1. Elija un valor inicial para $D$ (decir $D_0$ ) y $R$ (decir $R_0$ ). Configure $i=1$
2. Condicionado a $D=D_{i-1}$ y $R=R_{i-1}$ Estimación $\beta$ y $u$ y $\epsilon$ . Llame a los presupuestos $\beta_i$ y $u_i$ y $\epsilon_i$ .
3. Condicionado a $\beta=\beta_i$ y $u=u_i$ y $\epsilon=\epsilon_i$ Estimación $D$ y $R$ . Llame a los presupuestos $D_i$ y $R_i$
4. Compruebe la convergencia. Si no converge, ajuste $i=i+1$ y volver al paso 2

Un método sencillo y rápido es el IGLS, que se basa en la iteración entre dos procedimientos de mínimos cuadrados y se describe detalladamente en el capítulo dos. La desventaja es que no funciona bien para componentes de varianza cercanos a cero.

Answer 2

El .pdf de Goldstein que @probabilityislogic enlazó es un gran documento. Aquí hay una lista de algunas referencias que discuten su pregunta en particular:

Harville, 1976: Ampliación del teorema de Gauss-Markov para incluir la estimación de efectos aleatorios .

Harville, 1977: Enfoques de máxima verosimilitud para la estimación del componente de varianza y problemas afines .

Laird y Ware, 1982: Modelos de efectos aleatorios para datos longitudinales .

McCulloch, 1997: Algoritmos de máxima verosimilitud para modelos lineales mixtos generalizados .

En Extracto de la Guía del Usuario SAS para el procedimiento MIXED tiene información muy útil sobre la estimación de la covarianza y muchas más fuentes (a partir de la página 3968).

Existen numerosos libros de texto de calidad sobre el análisis de datos de medidas longitudinales/repetidas, pero aquí hay uno que entra en cierto detalle sobre la implementación en R (de los autores de lme4 y nlme ):

Pinheiro y Bates, 2000: Modelos de efectos mixtos en S y S-PLUS .

EDITAR : Otro artículo relevante: Lindstrom y Bates, 1988: Algoritmos Newton-Raphson y EM para modelos lineales de efectos mixtos con datos de medidas repetidas .

EDITAR 2 : Y otro: Jennrich y Schluchter, 1986: Modelos de medidas repetidas no equilibrados con matrices de covarianza estructuradas .

Answer 3

Dos referencias más que podrían ser útiles Componentes de la variación por Searle Et al y Lynch y Walsh Genética y análisis de rasgos cuantitativos . El libro de Lynch y Walsh da un algoritmo paso a paso si no recuerdo mal.

Answer 4

El siguiente artículo ofrece una solución de forma cerrada para D:

• J. Shao, Mari Palta y Roger Qu, (1998), " Estimación por mínimos cuadrados de los parámetros de regresión en modelos de efectos mixtos con covariables no medidas ", Comunicaciones en Estadística - Teoría y Métodos , 27:6, 1487-1501, DOI:10.1080/03610929808832172