¿Qué es la "máxima probabilidad restringida" y cuándo debe utilizarse?

Question

He leído en el resumen de este documento eso:

"El procedimiento de máxima verosimilitud (ML) de Hartley aud Rao se modifica adaptando una transformación de Patterson y Thompson que divide la verosimilitud que rinde la normalidad en dos partes, una de ellas libre de los efectos fijos. Al maximizar esta parte se obtienen los llamados estimadores de máxima verosimilitud restringida (REML)".

También leí en el resumen de este documento que REML:

"tiene en cuenta la pérdida de grados de libertad resultante de la estimación de los efectos fijos".

Lamentablemente no tengo acceso al texto completo de esos documentos (y probablemente no lo entendería si lo tuviera).

Además, ¿cuáles son las ventajas de REML frente a ML? ¿En qué circunstancias se puede preferir REML a ML (o viceversa) cuando se ajusta un modelo de efectos mixtos? Por favor, dé una explicación adecuada para alguien con una formación matemática de bachillerato (o poco más).

Answer 1

Según la respuesta de ocram, el ML está sesgado para la estimación de los componentes de la varianza. Pero observe que el sesgo se reduce para tamaños de muestra mayores. Por lo tanto, en respuesta a sus preguntas " ...¿cuáles son las ventajas de REML frente a ML? ¿En qué circunstancias se puede preferir REML a ML (o viceversa) al ajustar un modelo de efectos mixtos? ", para tamaños de muestra pequeños se prefiere el REML. Sin embargo, las pruebas de razón de verosimilitud para REML requieren exactamente la misma especificación de efectos fijos en ambos modelos. Por lo tanto, para comparar modelos con diferentes efectos fijos (un escenario común) con una prueba LR, se debe utilizar ML.

El REML tiene en cuenta el número de parámetros (de efectos fijos) estimados, perdiendo 1 grado de libertad por cada uno. Esto se consigue aplicando ML a los residuos de los mínimos cuadrados, que son independientes de los efectos fijos.

Answer 2

He aquí una respuesta rápida...

---

Ejemplo ilustrativo estándar

Dejemos que $y = (y_1, \dotsc, y_n)$ sea una muestra de una distribución normal $\mathrm{N}(\mu, \sigma^2$ ). Ambos $\mu$ y $\sigma^2$ son desconocidos. El estimador de máxima verosimilitud de $\sigma^2$ que se obtiene tomando la derivada de la log-verosimilitud con respecto a $\sigma^2$ e igualando a cero, es $$ \hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2 $$ donde $\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$ es el estimador de máxima verosimilitud de $\mu$ . Podemos demostrar que $$ \mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2. $$ [ Empieza por reescribir $\hat{\sigma}^2_{\textrm{ML}}$ como $\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$ ]. Así, $\hat{\sigma}^2_{\textrm{ML}}$ es parcial. Obsérvese que si hubiéramos sabido $\mu$ entonces la MLE para $\sigma^2$ habría sido imparcial. Por lo tanto, el problema con $\hat{\sigma}^2_{\textrm{ML}}$ parece estar relacionado con el hecho de que hemos sustituido $\bar{x}$ para la media desconocida en la estimación . La idea intuitiva de la estimación REML es terminar con una probabilidad que contenga toda la información sobre $\sigma^2$ pero ya no contiene la información sobre $\mu$ .

Más técnicamente, la probabilidad REML es una probabilidad de combinaciones lineales de los datos originales: en lugar de la probabilidad de $y$ consideramos la probabilidad de $Ky$ donde la matriz $K$ es tal que $\mathrm{E}[Ky] = 0$ .

---

La estimación REML se utiliza a menudo en el contexto más complicado de los modelos mixtos. Todos los libros sobre modelos mixtos tienen una sección en la que se explica con más detalle la estimación REML.

---

Editar

@Joe King: Aquí (y aquí para el contexto de la página web en inglés) es uno de mis libros favoritos sobre modelos mixtos que está totalmente disponible en línea. La sección 2.4.2 trata de la estimación de los componentes de la varianza. Disfrute de su lectura :-)

Answer 3

El método ML subestima los parámetros de la varianza porque asume que los parámetros fijos son conocidos sin incertidumbre al estimar los parámetros de la varianza.

El método REML utiliza un truco matemático para que las estimaciones de los parámetros de la varianza sean independientes de las estimaciones de los efectos fijos. El REML funciona obteniendo primero los residuos de la regresión para las observaciones modeladas por la parte de efectos fijos del modelo, ignorando en este punto cualquier componente de la varianza.

Las estimaciones ML son insesgadas para los efectos fijos pero sesgadas para los efectos aleatorios, mientras que las estimaciones REML son sesgadas para los efectos fijos e insesgadas para los efectos aleatorios.