15 votos

¿Existe una interpretación bayesiana de REML?

Es una interpretación Bayesiana de REML disponible? A mi intuición, REML tiene una gran semejanza a los llamados empírico de Bayes procedimientos de estimación, y me pregunto si algún tipo de equivalencia asintótica (bajo algunas adecuado de la clase de los priores, por ejemplo) ha sido demostrada. Tanto empírico de Bayes y REML parecer como 'en peligro' la estimación de los enfoques asumidos en la cara de molestia de los parámetros, por ejemplo.

Principalmente, lo que busco esta pregunta es el alto nivel de penetración que este tipo de argumentos tienden a ceder. Por supuesto, si un argumento de esta naturaleza, por alguna razón, no puede ser útilmente a cabo para REML, una explicación de por qué esto es así también entregar la bienvenida a la penetración!

6voto

Aaron Puntos 36

Bayesiano interpretaciones existen sólo dentro del marco del análisis Bayesiano, para que los peritos que se refieren a una distribución posterior. Por lo tanto, la única manera de que el REML estimador podría darse una interpretación Bayesiana (es decir, una interpretación como un estimador de la toma de la parte posterior) es que, si tomamos el restringido la log-verosimilitud en el REML el análisis para el registro posterior en un correspondiente análisis de Bayes; en este caso, el REML estimador sería un MAPA estimador Bayesiano de la teoría, con su correspondiente interpretación Bayesiana.


Ajuste de la REML estimador de ser un estimador MAP: es relativamente sencillo para ver cómo establecer el restringido la log-verosimilitud en el REML el análisis para el registro posterior en un análisis de Bayes. Para ello, se requiere el registro previo a ser el negativo de la parte de la log-verosimilitud que es eliminado por el REML proceso. Supongamos que tenemos la log-verosimilitud $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ donde $\ell_{\text{RE}}(\theta)$ es el residual de la log-verosimilitud y $\theta$ es el parámetro de interés ($\nu$ siendo la nuestra la molestia de parámetro). Configuración antes de la $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$ da correspondientes posterior:

$$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$$

Esto nos da:

$$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$$

Este resultado nos permite interpretar la REML estimador como un estimador MAP, por lo que la correcta interpretación Bayesiana de la REML estimador es que es el estimador que maximiza la parte posterior de la densidad, en virtud de la previa.

Tener ilustra el método para dar una interpretación Bayesiana a la REML estimador, ahora nos tenga en cuenta que existen grandes problemas con este enfoque. Uno de los problemas es que el estado se forma utilizando el logaritmo de la probabilidad de componente $\ell_*(\theta, \nu)$, lo que depende de los datos. Por lo tanto, el "antes" necesario para obtener esta interpretación no es un verdadero antes, en el sentido de ser una función que puede ser formado antes de ver los datos. Otro problema es que el estado va a ser a menudo inadecuada (es decir, que no se integra a uno) y puede en realidad aumentar de peso como los valores de los parámetros se vuelven extremas. (Vamos a mostrar un ejemplo de esto más adelante.)

Basado en estos problemas, se podría argumentar que no hay ningún razonable interpretación Bayesiana para la REML estimador. Alternativamente, uno podría argumentar que la REML estimador todavía se mantiene por encima de la interpretación Bayesiana, siendo un máximo a posteriori estimador bajo un "antes" que debe casualmente se alinean con los datos observados en la forma especificada, y puede ser extremadamente inadecuada.


Ilustración con datos normales: El ejemplo clásico de REML estimación para el caso de la normal de datos $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ donde usted está interesado en la precisión $\theta$ y la media de $\nu$ es una molestia parámetro. En este caso tiene la función de verosimilitud logarítmica:

$$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$$

En REML hemos dividido este log-verosimilitud en los dos componentes:

$$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$$

Obtenemos la REML estimador del parámetro de precisión mediante la maximización de la probabilidad residual, lo que da una imparcial estimador para la varianza:

$$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$$

En este caso, el REML estimador corresponde a un MAPA estimador para el "antes" de la densidad:

$$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$$

Como se puede ver, este "antes" de verdad depende de los valores de datos observados, por lo que no puede ser formado antes de ver los datos. Por otra parte, podemos ver que se trata claramente de un "inadecuado" antes de que se pone más y más peso en los valores extremos de $\theta$$\nu$. (En realidad, este estado es bastante loco.) Si por "casualidad" que iban a formar una antes de que le pasó a corresponder a este resultado, a continuación, el REML estimador sería un estimador MAP bajo que antes, y por lo tanto habría una interpretación Bayesiana como el estimador que maximiza la parte posterior bajo que antes.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X