EM para la varianza MAP de AR(1)

Question

Esta pregunta es sobre la inferencia MAP en un modelo AR(1) (ejercicio 1.6 de West, M., Time Series: Modeling, Computation and Inference). No es una tarea para casa.

Supongamos que $n$ observaciones se generaron a partir del modelo

$y_t = \phi y_{t-1} + \epsilon_t,\ \epsilon_t\sim\mathcal{N}(0, v)$

donde $y_1$ (la primera observación) es conocida, es decir, podemos utilizar la probabilidad condicional $p(y_{2:n} | y_1, \phi, v)$ en lo siguiente.

El objetivo es calcular el modo de $p(v | y_{1:n})$

Priores y posteriors

Ponemos una prioridad gaussiana y gamma inversa en $\phi$ y v, respectivamente, por lo que

$\phi | v \sim \mathcal{N}(0,v)$

$v\sim IG(n_0/2, d_0/2)$

Las distribuciones posteriores vienen dadas por

$\phi | y_{1:n}, v \sim \mathcal{N}(m, vC)$ $\qquad(*)$

$v| y_{1:n} \sim IG(n^*/2, d^*/2)$

donde $m=\frac{\sum_{t=2}^n y_{t}y_{t-1}}{\sum_{t=2}^n y_{t-1}+1},\ C=\frac{1}{\sum_{t=2}^n y_{t-1}+1},\ n^*=n+n_0-1,\ d^*=\sum_{t=2}^n y_{t}^2-m+d_0 $

Además, la articulación posterior $(\phi, v | y_{1:n})$ bajo la probabilidad total $p(y_{1:n} | \phi, v)$ es proporcional a

$v^{-n/2+1}(1-\phi^2)^{1/2}\exp\left(-\frac{\sum(y_t-\phi y_{t-1})}{2v}\right)$ $\qquad(**)$

EM

Para encontrar el MAP para $v$ utilizamos el algoritmo EM. El $m$ -El quinto paso E consiste en calcular $E^{(m-1)}[\log(\phi,v| y_{1:n})]$ por lo que debemos calcular la expresión

$\int_{\mathbb{R}}\log p(\phi, v| y_{1:n})p(\phi| v^{m-1}, y_{1:n})d\phi$

Introduciendo las expresiones de $(*), (**)$ Me parece que esta integral es muy difícil de calcular. ¿Es realmente el camino a seguir? ¿Cómo puedo avanzar?

Gracias por la ayuda.

Answer 1

Hm, tal vez sea sólo álgebra (corrige los errores si ves alguno). La expresión de arriba se convierte en

$\int_{\mathbb{R}}\log p(\phi,v|y_{1:n})p(\phi| v^{m-1}, y_{1:n})d\phi= \mathbb{H}^{m-1}+\underbrace{\int_{\mathbb{R}}\log p(v| y_{1:n})p(\phi| v^{m-1}, y_{1:n})d\phi}_{\log p(v| y_{1:n})\ \cdot\ 1}$

donde $\mathbb{H}^{m-1}=\mathbb{E}^{m-1}[\log p(\phi| v, y_{1:n})]=\int_{\mathbb{R}}\log p(\phi| v, y_{1:n})p(\phi| v^{m-1}, y_{1:n})$

es un término de entropía. El segundo término que se simplifica en $\log p(v| y_{1:n})$ es la densidad logarítmica de la Gamma Inversa y así

$\log p(v| y_{1:n})=\frac{n^*}{2}\log\frac{d^*}{2}-\Gamma(\frac{n^*}{2})-(\frac{n^*}{2}+1)\log v - \frac{d^*}{2v}$

Ataquemos el término de entropía

$\mathbb{H}^{m-1}=\int_{\mathbb{R}}\log p(\phi| v, y_{1:n})p(\phi| v^{m-1}, y_{1:n})= $

$= \underbrace{-\int_{\mathbb{R}}\frac{\log(2\pi vC)}{\sqrt{2\pi vC}}\exp(-\frac{(\phi - m)^2}{2vC})d\phi}_{-1/2 \log(2\pi vC)} - \underbrace{\int_{\mathbb{R}}\frac{1}{\sqrt{2\pi vC}}\frac{(\phi - m)^2}{2vC}\exp(-\frac{(\phi - m)^2}{2vC})d\phi}_{=:\ A}$

Con $f(\phi):=\exp(-\frac{(\phi - m)^2}{2vC}) and \eta:=\frac{1}{\sqrt{2\pi vC}}$ el último término restante requiere integración por partes

$A=\int_{\mathbb{R}}\eta\frac{(\phi-m)^2}{2vC}f(\phi)d\phi=-\int_{\mathbb{R}}\eta \frac{\phi-m}{2}\frac{df}{d\phi}d\phi=$

$=-(\int_{\mathbb{R}}\eta f(\phi)\frac{\phi-m}{2}-\underbrace{\int_{\mathbb{R}}\eta\frac{m}{2}f(\phi)d\phi)}_{m/2}$

$=-\frac{vC}{2}\int_{\mathbb{R}}\eta \frac{\phi-m}{vC}f(\phi)d\phi+\frac{m}{2} = \frac{m-vC}{2}$