6 votos

Bayesiano de regresión completa de la distribución condicional

Tengo un problema con la derivación completa de la distribución condicional de los coeficientes de regresión en un simple Bayesiano de regresión. El origen de las siguientes ecuaciones es:

  • Lynch (2007). Introducción la aplicación de la Estadística Bayesiana y de Estimación para los Científicos Sociales, página 170 y 171.

La distribución posterior (con el uniforme de los priores de todos los parámetros) está dada por: $$ P(\beta \sigma | X, Y) \propto (\sigma^{2})^{-(n/2+1)} \exp\{-\frac{1}{2\sigma^{2}}(Y-X\beta)^{T}(Y-X\beta)\} $$

Por tanto, el pleno de la distribución condicional del coeficiente de $\beta$ sólo requiere que el kernel: $$ \exp\{-\frac{1}{2\sigma^{2}}(Y-X\beta)^{T}(Y-X\beta)\} $$ donde $\beta$ $p$ dimensiones vector de parámetros $X$ $n\times p$ predictor de la matriz y $Y$ $n$ dimensiones del vector de respuestas.

Esto puede ser ampliado a: $$ \exp\{ -\frac{1}{2\sigma^{2}} [Y^{T}Y - Y^{T}X\beta \beta^{T}X^{T}Y + \beta^{T}X^{T}X\beta] \} $$

Puesto que Y es constante con respecto a $\beta$, que se puede quitar y el centro de los dos términos pueden ser agrupados juntos. Esto conduce a: $$ \exp\{ -\frac{1}{2\sigma^{2}} [ \beta^{T}X^{T}X\beta - 2\beta^{T}X^{T}Y ] \} $$ El siguiente paso que me confunde. El autor se multiplica toda la ecuación por $(X^{T}X)(X^{T}X)^{-1}$. El problema no es la multiplicación de sí mismo. Sus autores resultado: $$ \exp\{\frac{1}{2\sigma^{2} X^{T}X)^{-1}} [\beta^{T}\beta - 2\beta^{T}(X^{T}X)^{-1}(X^{T}Y) ] \} $$ Lo que es confuso para mí es la multiplicación dentro de los corchetes. Para mí pre-multiplicando por $(X^{T}X)^{-1}$ conduce a: $$ (X^{T}X)^{-1}\beta^{T}X^{T}X\beta - 2(X^{T}X)^{-1}\beta^{T}X^{T}Y $$

¿Por qué se permitió a los términos de intercambio $\beta^{T}$$(X^{T}X)^{-1}$?

Desde $\beta^{T}X^{T}X\beta$ le da un valor escalar y multiplicando por $(X^{T}X)^{-1}$ resultados en una matriz cuadrada, este no es el mismo que $\beta^{T}(X^{T}X)^{-1}(X^{T}X)\beta$. Pero el autor parece ignorar esta en su solución. Lo que me estoy perdiendo?

Editar Aquí está una foto de las páginas pertinentes: pages

8voto

Lev Puntos 2212

Como se muestran en la reproducción de lo que está escrito en este libro, la solución es incorrecta por la sencilla razón de que la cantidad de $(X^{T}X)^{-1}$ $p\times p$ matriz, no un escalar. Por lo tanto, usted no puede dividir por $(X^{T}X)^{-1}$. (Esta es una terrible manera de explicar este estándar derivación!)

Lo que se puede escribir, en cambio, es $$ \beta^{T}X^{T}X\beta - 2\beta^{T}X^{T}Y=\beta^{T}X^{T}X\beta - 2\beta^{T}(X^{T}X)(X^{T}X)^{-1}X^{T}Y $$ Estos son los dos primeros términos de la perfecta cuadrado de la norma $$ \left(\beta\hat\beta\right)^T (X^{T}X) \left(\beta\hat\beta\right) $$ donde $\hat\beta=(X^{T}X)^{-1}X^{T}Y$ es el estimador de mínimos cuadrados.

Por lo tanto, el pleno del condicional posterior distribución de $\beta$, determinado $\sigma$ $\hat\beta$ es una distribución normal$$\mathcal{N}_p(\hat\beta,(X^{T}X)^{-1})$$

Nota: La anterior en $\sigma$ correspondiente a la articulación posterior es $1/\sigma^2$ más que un uniforme antes.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X