¿En qué variables está condicionado el posterior de un modelo de regresión simple?

Question

Desde un problema del curso:

Considera el modelo de regresión, $$y_i=\alpha_i+\beta x_i+\epsilon, \hspace{1em} i=1,\dots,n,$$ con $\epsilon_i\sim\text{N}(0,1/\lambda)$ i.i.d. y una estructura previa \begin{align}\alpha_i&\sim\text{N}(\mu,1/p) \; \text{independiente para }i=1,\dots,n,\\\mu&\sim\text{N}(a,1/r),\\\beta&\sim\text{N}(b,1/q),\\\lambda&\sim\text{Ga}(c,d).\end{align} Muestra que la condicional completa de cada una de las intercepciones $\alpha_i$ es Gaussiana y proporciona una expresión explícita para los parámetros.

Me gustaría comenzar escribiendo $$\pi(\alpha_i|\text{algunas variables})\propto\pi(\alpha_i)f(\text{algunas variables}|\alpha_i)$$ pero no estoy seguro de cuáles deberían ser esas variables. A partir de las soluciones dadas, puedo deducir que $$f(\text{algunas variables}|\alpha_i)\propto\exp\left(-\frac{\lambda}{2}(y_i-\alpha_i-\beta x_i)^2\right);$$ ¿significa eso que $f$ debería ser $$f(y_i,\beta,x_i,\lambda|\alpha_i)?$$

Answer 1

En este problema las variables $(a,b,c,d,p,q,r)$ son tus hiperparámetros y observarás los datos $(\mathbf{x},\mathbf{y})$ de tu modelo. Tu distribución posterior es condicional a la conjunción de los hiperparámetros y los datos. En este caso, puedes escribir el núcleo posterior requerido usando la regla de Bayes como:

$$\begin{align} \pi(\boldsymbol{\alpha}|\mathbf{x},\mathbf{y},a,b,c,d,p,q,r) &\overset{\boldsymbol{\alpha}}{\propto} \pi(\boldsymbol{\alpha},\beta,\lambda|\mathbf{x},\mathbf{y},a,b,c,d,p,q,r) \\[6pt] &\propto L_{\mathbf{x},\mathbf{y}}(\boldsymbol{\alpha},\beta,\lambda) \cdot \pi(\boldsymbol{\alpha}|a,p,r) \cdot \pi(\beta|b,q) \cdot \pi(\lambda|c,d). \\[6pt] \end{align}$$

La función de verosimilitud se da por el requisito de proporcionalidad:

$$\begin{align} L_{\mathbf{x},\mathbf{y}}(\boldsymbol{\alpha},\beta,\lambda) &\propto \prod_{i=1}^n \text{N} \bigg( y_i \bigg| \alpha_i + \beta x_i, \frac{1}{\lambda} \bigg) \\[6pt] &= \prod_{i=1}^n \sqrt{\frac{\lambda}{2 \pi}} \exp \bigg( \frac{\lambda}{2} (y_i - \alpha_i - \beta x_i)^2 \bigg) \\[6pt] &\propto \lambda^{n/2} \exp \bigg( \frac{\lambda}{2} \sum_{i=1}^n (y_i - \alpha_i - \beta x_i)^2 \bigg). \\[6pt] \end{align}$$