Pregunta: Para esta pregunta, tenga en cuenta que la notación $y_{1:T} = (y_1, y_2, \cdots, y_T)$, es decir, un vector de variables aleatorias.
Considere el siguiente AR(1) modelo: \begin{align*} y_{t+1} = \phi y_t + \sigma \eta_t \ \ \cdots (a) \end{align*} para $t = 1, 2, \cdots, T$ donde \begin{align*} \eta_t \stackrel{iid}{\sim} N(0,1) \ \ \cdots (b) \end{align*} con $\eta_1$ independiente de $y_k$$k \le t$, y donde \begin{align*} y_1 \sim N\left(0, \frac{\sigma^2}{1-\phi^2}\right) \ \ \cdots (c) \end{align*} Definir $\theta = (\phi, \sigma)$ y considerar la posibilidad de una distribución previa dada por: \begin{align*} p(\theta) \propto \frac{1}{\sigma} \ \text{for} \ \infty < \phi < \infty \ \text{and} \ 0<\sigma<\infty \ \ \cdots (1) \end{align*} También se define la probabilidad condicional de la función: \begin{align*} p(y_{2:T} \mid y_1, \theta) = \left(2\pi \sigma^2 \right)^{-\frac{T-1}{2}}\exp\left[- \frac{1}{2\sigma^2}\sum_{t=2}^T \left(y_t - \phi y_{t-1} \right)^2\right] \ \ \cdots (2) \end{align*}
Mostrar que la recepción de la distribución posterior, correspondiente a la probabilidad condicional de la función en $(2)$ y el estado de la densidad en $(1)$, puede ser obtenido analíticamente, mientras que el pleno de la distribución posterior, correspondiente a la modelo en $(a)-(c)$ y el estado de la densidad en $(1)$, requiere de una alternativa enfoque computacional.
Mi Trabajo: en primer lugar, he trabajado a cabo la función de probabilidad correspondiente a la AR(1) el modelo descrito por $(a)-(c)$. Mi trabajo es como sigue:
Se nos da $y_1 \sim N\left(0, \frac{\sigma^2}{1-\phi^2}\right)$, por lo que el pdf está dada por: \begin{align*} p(y_1 \mid \theta) = \left(2\pi\left( \frac{\sigma^2}{1-\phi^2}\right) \right)^{-\frac{1}{2}}\exp\left[ - \frac{y_1^2}{2\left(\frac{\sigma^2}{1-\phi^2}\right)} \right] \end{align*} Condicionalmente, tenemos $y_2 \mid y_1 \sim N\left( \phi y_1, \sigma^2\right)$, por lo que el pdf está dada por: \begin{align*} p(y_2 \mid y_1, \theta) = \left(2\pi \sigma^2\right)^{-\frac{1}{2}} \exp\left[-\frac{1}{2\sigma^2} \left(y_2 - \phi y_1\right)^2 \right] \end{align*} Del mismo modo, $y_3 \mid y_2, y_1 \equiv y_3 \mid y_2 \sim N\left(\phi y_2, \sigma^2\right)$, por lo que el pdf está dada por: \begin{align*} p(y_3 \mid y_2, y_1, \theta) = \left(2\pi \sigma^2\right)^{-\frac{1}{2}} \exp\left[-\frac{1}{2\sigma^2} \left(y_3 - \phi y_2\right)^2 \right] \end{align*} Así que en general, $y_t \mid y_{t-1}, y_{t-2}, \cdots, y_1 \equiv y_t \mid y_{t-1} \sim N\left(\phi y_{t-1}, \sigma^2\right)$, con pdf: \begin{align*} p(y_t \mid y_{t-1}, y_{t-2}, \cdots, y_1, \theta) = \left(2\pi \sigma^2\right)^{-\frac{1}{2}} \exp\left[-\frac{1}{2\sigma^2} \left(y_t - \phi y_{t-1}\right)^2 \right] \end{align*} Utilizando el método de composición, tenemos: \begin{align*} p(y_{1:T} \mid \theta) & = p(y_1 \mid \theta)p(y_2 \mid y_1, \theta)p(y_3 \mid y_1, y_2, \theta) \cdots p(y_T \mid y_1, y_2, \cdots, y_{T-1}, \theta) \\ & = p(y_1 \mid \theta) \prod_{t=2}^T p(y_t \mid y_{t-1}, \theta) \end{align*} Por lo tanto la probabilidad de la función calculada para un valor dado de a $\theta = \left(\phi, \sigma^2\right)$, está dada por: \begin{align} L(\theta) & = \left\{ \left(2\pi\left( \frac{\sigma^2}{1-\phi^2}\right) \right)^{-\frac{1}{2}}\exp\left[ - \frac{y_1^2}{2\left(\frac{\sigma^2}{1-\phi^2}\right)} \right]\right\} \prod_{t=2}^T \left(2\pi \sigma^2\right)^{-\frac{1}{2}} \exp\left[-\frac{1}{2\sigma^2} \left(y_t - \phi y_{t-1}\right)^2 \right] \\ & \propto (1-\phi^2)^{\frac{1}{2}}\sigma^{-T} \exp\left[-\frac{\sum_{t=2}^T\left(y_t - \phi y_{t-1}\right)^2+y_1^2\left(1-\phi^2\right)}{2\sigma^2} \right] \ \ \cdots (W1) \end{align}
Derivando la probabilidad condicional dada en $(2)$ se puede hacer de la siguiente manera: \begin{align*} p(y_{2:T} \mid y_1, \theta) & = \frac{p(y_{1:T} \mid \theta)}{p(y_1 \mid \theta)} \\ & = \prod_{t=2}^T p(y_t \mid y_{t-1}, \theta) \\ & = \left(2\pi \sigma^2 \right)^{-\frac{T-1}{2}}\exp\left[- \frac{1}{2\sigma^2}\sum_{t=2}^T \left(y_t - \phi y_{t-1} \right)^2 \right] \end{align*}
Mi Consulta: yo realmente no se lo que la pregunta está tratando de preguntarme para qué? ¿Qué significa condicional posterior? Completa posterior? Cualquier ayuda será apreciada!
EDIT 1 CURSO: está Bien, así que he jugado un poco más y hacer un poco de progreso. Me interpretar 'condicional posterior" como sigue:
Observe que cuando se $T$ es grande, entonces el factor de $(1-\phi^2)$ en Eqn. $(W1)$ es pequeña, por lo que podemos aproximar el pleno de la probabilidad con la probabilidad condicional: \begin{align*} p(y_{2:T} \mid y_1, \theta) \propto \sigma^{-(T-1)}\exp\left[- \frac{1}{2\sigma^2}\sum_{t=2}^T \left(y_t - \phi y_{t-1} \right)^2 \right] \end{align*} Así, en el antes de la $p(\theta) \propto \frac{1}{\sigma}$, tenemos: \begin{align*} p(\theta \mid y_{1:T}) & \propto \sigma^{-T}\exp\left[- \frac{1}{2\sigma^2}\sum_{t=2}^T \left(y_t - \phi y_{t-1} \right)^2 \right] \\ & = \sigma^{-T}\exp\left[-\frac{1}{2\sigma^2}\sum_{t=2}^T \left(y_t^2 -2y_t \phi y_{t-1} + \phi^2 y_{t-1}^2 \right) \right] \\ & = \sigma^{-T}\exp\left[-\frac{1}{2\sigma^2}\left(\underbrace{\sum_{t=2}^Ty_t^2}_{C} - 2\phi\underbrace{\sum_{t=2}^Ty_t y_{t-1}}_{B} + \phi^2 \underbrace{\sum_{t=2}^T y_{t-1}^2}_{A} \right) \right] \end{align*} En primer lugar, tenga en cuenta que: \begin{align*} p(\phi \mid \sigma, y_{1:T}) & \propto \exp\left[-\frac{1}{2\sigma^2}\left(C-2\phi B + \phi^2A \right) \right] \\ & = \exp\left[-\frac{A}{2\sigma^2} \left(\phi^2 - 2\phi \frac{B}{A} + \frac{C}{A} \right) \right] \\ & = \exp\left[-\frac{A}{2\sigma^2}\left(\left(\phi - \frac{B}{A} \right)^2-\left(\frac{B}{A}\right)^2 + \frac{C}{A} \right) \right] \\ & \propto \exp\left[-\frac{A}{2\sigma^2}\left(\phi-\frac{B}{A}\right)^2 \right] \\ & = \exp\left[-\frac{1}{2\left(\frac{\sigma^2}{A} \right)}\left(\phi-\frac{B}{A}\right)^2 \right] \end{align*} Por lo que la distribución de $\phi \mid \sigma, y_{1:T}$ está dada por: \begin{gather} \phi \mid \sigma, y_{1:T} \sim N\left(\frac{B}{A}, \frac{\sigma^2}{A} \right) \\ \implies \phi \mid \sigma, y_{1:T} \sim N\left(\frac{\sum_{t=2}^T y_t y_{t-1}}{\sum_{t=2}^T y_{t-1}^2}, \frac{\sigma^2}{\sum_{t=2}^T y_{t-1}^2} \right) \end{reunir} Siguiente, tenga en cuenta que: \begin{align*} p(\sigma \mid y_{1:T}) & \propto \int_{\phi} \sigma^{-T} \exp\left[-\frac{1}{2\sigma^2} \sum_{t=2}^T \left(y_t - \phi y_{t-1}\right)^2 \right]d\phi \\ & = \sigma^{-T} \int_{\phi} \exp\left[-\frac{A}{2\sigma^2} \left(\left(\phi - \frac{B}{A} \right)^2 - \left(\frac{B}{A}\right)^2 + \frac{C}{A} \right) \right]d\phi \\ & = \sigma^{-T} \int_{\phi} \exp\left[-\frac{A}{2\sigma^2} \left(\phi - \frac{B}{A} \right)^2 + \left(\frac{A}{2\sigma^2}\right) \left(\frac{B}{A}\right)^2 - \left(\frac{A}{2\sigma^2}\right)\left(\frac{C}{A}\right) \right]d\phi \\ & = \sigma^{-T} \exp\left[\frac{B^2/A - C}{2\sigma^2} \right] \int_{\phi} \exp\left[-\frac{A}{2\sigma^2} \left(\phi - \frac{B}{A} \right)^2\right] d\phi \\ & = \sigma^{-T} \exp\left[\frac{B^2/A - C}{2\sigma^2} \right] \left(2\pi\left(\frac{\sigma^2}{A} \right) \right)^{\frac{1}{2}} \\ & \propto \frac{1}{\sigma^{(T-2)+1}}\exp\left[\frac{B^2/A - C}{2\sigma^2} \right] \end{align*} Ahora defina $b = \frac{B}{A}$, aviso: \begin{align*} Q(y_{2:T}, b) & = \sum_{t=2}^T \left(y_t - b y_{t-1}\right)^2 \\ & = \sum_{t=2}^T \left(y_t^2 - 2y_t b y_{t-1} + b^2 y_{t-1}^2 \right) \\ & = \sum_{t=2}^T y_t^2 - 2b\sum_{t=2}^T y_t y_{t-1} + b^2 \sum_{t=2}^T y_{t-1}^2 \\ & = C - 2bB+b^2A \end{align*} Entonces, claramente, \begin{align*} -Q(y_{2:T}, b) = B^2/A-C \end{align*} Por lo que la distribución de $\sigma \mid y_{1:T}$ está dada por: \begin{gather} \sigma \mid y_{1:T} \sim IG\left(v = T-2, \widehat{\sigma^2} = \frac{1}{T-2} \left(B^2/A - C \right) \right) \\ \implies \sigma \mid y_{1:T} \sim IG\left(v = T-2, \widehat{\sigma}^2 = \frac{1}{T-2} \left(\frac{\left(\sum_{t=2}^T y_t y_{t-1} \right)^2}{\sum_{t=2}^T y_{t-1}^2} - \sum_{t=2}^T y_t^2 \right) \right) \end{reunir} O lo que es equivalente: \begin{gather*} \sigma \mid y_{1:T} \sim IG\left(v = T-2, \widehat{\sigma^2} = -\frac{1}{T-2}Q(y_{2:T}, b) \right) \end{reunir*} Por lo tanto, podemos deducir la condicional posterior distribución analíticamente como: \begin{align*} p(\phi, \sigma \mid y_{1:T}) = p(\phi \mid \sigma, y_{1:T})p(\sigma \mid y_{1:T}) \end{align*} donde $p(\phi \mid \sigma, y_{1:T})$ $p(\sigma \mid y_{1:T})$ son derivados de los anteriores.
Sin embargo, si utilizamos el pleno de la probabilidad (que es lo que la segunda parte de la pregunta está pidiendo a), ¿cómo podemos obtener el completo posterior'? Yo no veo ninguna manera obvia para encontrar la adecuada integración de las constantes. Estoy asumiendo que necesito usar Gibbs/M-H/o algún otro tipo de MCMC esquema de muestreo?
