Regresión lineal bayesiana, problemas con la posterioridad. Varianza igual identidad

Question

Estoy tratando de resolver el siguiente problema.

Si $y | \beta \sim N(X \beta, I_n)$ y $\beta \sim N(0, g^{-1}(X^t X)^{-1})$ para $g>0$ . Encuentre $ \pi(\beta|y)$ y demostrar que $E(\beta|y)$ es una función de MLE de $\beta$ .

Mi enfoque,

Demostré que maximizar la probabilidad, es equivalente a minimizar el SSE, por lo que el OLS es igual al MLE.

Sé que lo normal es el previo conjugado. Así que, $$\pi(\beta|y)= \frac{f(y|\beta)\pi(\beta)}{m(y)} \propto f(y|\beta)\pi(\beta) $$

$$ \pi(\beta|y) \propto \exp\{ - \frac{1}{2}(y-X\beta)^t (y-X\beta) - \frac{1}{2}\beta^t(g^{-1}(X^tX)^{-1})^{-1}\beta \} $$ $$ = \exp\{ - \frac{1}{2}( y^t y -2y^tX \beta+(1+g)\beta^t(X^tX)\beta ) \}$$ y me quedo atascado. He leído sobre g-priors y creo que el a posterior es $N(\frac{1}{1+g}\hat{\beta}, \frac{1}{1+g} (X^t X)^{-1})$ pero no estoy seguro.

Answer 1

Puede consultar cualquier libro de texto sobre econometría bayesiana ( Por ejemplo ) para encontrar la distribución posterior condicional de $\beta$ dado $\sigma^2$ dada la "preponderancia conjugada" de $\beta$ y $\sigma^2$ es decir, $$\pi \left( \beta ,\sigma ^{2}\right) =\pi \left( \beta |\sigma ^{2}\right)\pi \left( \sigma ^{2}\right) $$ con \begin{eqnarray} \beta |\sigma ^{2} &\sim &N\left( \beta _{0},\sigma ^{2}B_{0}\right) \\ \sigma ^{2} &\sim &IG\left( \alpha _{0}/2,\delta _{0}/2\right), \end{eqnarray} como \begin{eqnarray*} \beta |\left( \sigma^{2},y\right) &\sim& N\left( \beta _{1},\sigma^{2}B_{1}\right) \end{eqnarray*} donde \begin{eqnarray*} B_{1} &=&\left( X^{\prime }X+B_{0}^{-1}\right) ^{-1} \\ \beta _{1} &=&B_{1}\left( X^{\prime }y+B_{0}^{-1}\beta _{0}\right) \end{eqnarray*} En este caso, parece ser que $\sigma^2$ se sabe que es uno, por lo que desaparecerá de estas expresiones. Además, su media a priori es cero y $B_0=g^{-1}(X'X)^{-1}$ .

Así, \begin{eqnarray*} B_1 &=& (X'X + ((g\cdot X'X)^{-1})^{-1})^{-1}\\ & = &(X'X + g\cdot X'X)^{-1} = ((1+g)X'X)^{-1}\\ &=& 1/(1+g)(X'X)^{-1} \end{eqnarray*} y \begin{eqnarray*} \beta_1 &=& B_1(X'y+g\cdot X'X\beta_0)\\ & = & B_1 X'y = ((1+g)X'X)^{-1}X'y\\ & = & 1/(1+g)(X'X)^{-1}X'y = 1/(1+g)\hat\beta \end{eqnarray*} La parte relativa a la media posterior debería seguir inmediatamente.