Estimador de Bayes con dos parámetros

Question

En un enfoque bayesiano de la regresión lineal simple, supongamos que el intercepto $\Theta_1$ y la pendiente $\Theta_2$ de la recta de regresión son independientes a priori con $\Theta_1\sim N(0,\tau^2_1)$ y $\Theta_2\sim N(0,\tau^2_2)$ Dado $\Theta_1=\theta_1$ y $\Theta_2=\theta_2$ , datos $Y_1,...,Y_n$ (respuestas en el modelo de regresión) son independientes con $Y_i\sim N(\theta_1+\theta_2x_i, \sigma^2)$ con el $x_i$ siendo los predictores. La varianza $\sigma^2$ es conocido, y $x_1,...,x_n$ son constantes que suman $0$ .

Encuentre los estimadores de Bayes de $\Theta_1$ y $\Theta_2$ bajo la pérdida del error cuadrado.

Aquí es donde me confundo; las expresiones de las PDF de la distribución posterior de cada estimador dependen de la otra incógnita; por tanto, también deberían hacerlo sus valores esperados (que es el estimador de Bayes).

Por ejemplo, mantener $\theta_2$ constante, lo calculo:

$$f_{\Theta_1}\propto \frac{\exp((\sum\theta_1+\theta_2x_i-y_1)^2/2\sigma^2)}{(2\pi\sigma^2)^{n/2}}\cdot\frac{\exp(-\theta_1^2/(2\tau_1^2))}{\sqrt{2\pi\tau_1^2}}$$

Pero es evidente que esta cantidad depende de $\theta_2$ ¡! Así que está claro que he hecho algo mal aquí, pero no sé cómo hacerlo correctamente. ¿Cuáles son los estimadores de Bayes para ambos $\Theta_1$ y $\Theta_2$ ?

Answer 1

La distribución a priori del par $(\Theta_1,\Theta_2)$ es $$ \text{constant} \cdot \frac 1 {\tau_1\tau_2} \exp\left( \frac{-1} 2 \left( \frac{\theta_1^2}{\tau_1^2} + \frac{\theta_2^2}{\tau_2^2} \right) \right) \, d\theta_1 \, d\theta_2. $$ La probabilidad es $$ L(\theta_1,\theta_2) = \text{constant} \cdot \exp\left( \sum_{i=1}^n (\theta_1 + \theta_2 x_i - y_i)^2 \right). $$ \begin{align} (\theta_1 + \theta_2 x_i - y_i)^2 & = \theta_1^2 + \theta_2^2 x_i^2 + y_i^2 + 2\theta_1\theta_2 x_i - 2\theta_1 y_i - 2\theta_2 x_i y_i \\[10pt] \sum_{i=1}^n (\theta_1 + \theta_2 x_i - y_i)^2 & = n\theta_1^2 + \theta_2^2 SSXX + \text{constant} + 2\theta_1\theta_2\cdot0 - 2\theta_1 n \overline y - 2\theta_2 \mathbb x \cdot\mathbb y \end{align} Tendrás que hacer un poco de álgebra, pero al multiplicar la probabilidad por el previo deberías obtener $$ \text{constant} \cdot \exp(\text{quadratic form in $ \theta_1,\theta_2 $}) \, d\theta_1\,d\theta_2. $$ Esta será una distribución normal, y la media y la varianza pueden leerse a partir de la forma de esta función. La media debe ser un vector con dos componentes escalares y la varianza debe ser un $2\times2$ matriz positiva-definida que da las dos varianzas de las variables aleatorias escalares y su covarianza.