Cómo probar que la ESS y la RSS son independientes

Question

Considere la posibilidad de $Y=X\beta+\varepsilon$ donde $X$ n por p, $\beta$ es p por 1 y $\varepsilon$ n por 1 con matriz de covarianza = var($\varepsilon$)=$\sigma^2 I$.

Dar la expresión de la regresión y el error de las sumas de cuadrados, encontrar sus valores esperados, y demostrar que son independientes.

Mi trabajo: Uno ha $SSE=Y^{T}Y-\hat{\beta}^{T}X^{T}Y=Y^{T}(I-X(X^{T}X)^{-1}X^{T})Y$, e $SSR=Y^{T}(X(X^{T}X)^{-1}X^{T}-\frac{1}{n}J)Y$. Para $SSE$, es fácil obtener su distribución. Pero tengo dificultad para obtener la distribución de los $SSR$, yo estaba tratando de demostrar que $X(X^{T}X)^{-1}X^{T}-\frac{1}{n}J$ es idempotente. Pero parece que no es fácil para mí.

También tengo dificultad para demostrar $(I-X(X^{T}X)^{-1}X^{T})(X(X^{T}X)^{-1}X^{T}-\frac{1}{n}J)=0$. Alguien me puede ayudar aquí?

Answer 1

De todos modos aquí hay una serie de resultados que te ayudarán a entender lo que está pasando(estoy suponiendo que la norma Euclídea es decir $<u,v>=u'v$)

Definición: Dejar $V\subset \mathbb{R}^n$ ser un sub-espacio. $P_{n\times n}$ es una proyección en $V$ si

1) $\forall x\in V$ tenemos $P.x=x$ y

2) $\forall x\in V^{\perp}$ tenemos $P.x=0$

Teorema 1: Si $P_{n\times n}$ es la proyección sobre $V\subset \mathbb{R}^n$ $\iff$ P es idempotente y simétrica $\mathscr{C}(P)=V$.

Teorema 2: Deje $o_1,...,o_r$ ser cualquier ortonormales base de $V$(por supuesto, con rango de $r\leq n$). A continuación, la matriz de proyección en $V$ $P=OO'$ donde $O=[o_1,...,o_r]_{n\times r}$

Teorema 3:Suponga que se dan un $n\times p$ matriz $X$ con rango de $p$. A continuación, $X(X'X)^{-1}X'$ (es decir $P_X$) es la proyección de a $\mathscr{C}(P)=\mathscr{C}(X)$. También por el anterior teorema si usted puede encontrar $p$-muchos ortonormales (desde las columnas de a $X$ son independientes siempre se puede hacer de Gram-Schmidt), a continuación, $P_X$ también será igual a $OO'$ (ya que la Proyección en un espacio dado es único).

Teorema 4: $Y\sim N_p(\mu,I)$ e $P$ ser cualquier matriz de proyección , a continuación, $Y'PY \sim \chi^2_{rank(P)}(\frac{1}{2}\mu'P\mu)$ es decir $d.f.=rank(P)$ y parámetro no-centralidad $\frac{1}{2}\mu'P\mu$

Prueba: no Es difícil en absoluto. Desde $P$ es simétrica puede ser escrito en Descomposición Espectral forma de decir $P=\Gamma D \Gamma'\Rightarrow Y'DY=Y\Gamma D \Gamma'Y=Z'DZ=\sum d_i.Z_i^2$

Hecho: en Virtud de la normalidad de la onu-correlación $\iff$ independencia.

Suponga $\epsilon \sim N_n(0,\sigma^2I)$. A continuación,$Y \sim N_n(X\beta,\sigma^2I)$. En este set-up $\mu=X\beta\in\mathscr{C}(X)$. Por lo tanto $SSE=Y'(I-P_X)Y \sim \chi^2_{n-p}(0)$

[Importante: $I-P_X$ es la Proyección Ortogonal de a $\mathscr{C}(X)$ es decir, si usted toma un vector $v$ $\mathscr{C}(X)$ (que es, de hecho, de la forma$X.u$), a continuación,$(I-P_X)v=0$. Por lo que el parámetro no-centralidad $\frac{1}{2}\mu'(I-P_X)\mu=\frac{1}{2}X\beta'(I-P_X) X\beta=0$.]

Para la SSR, la matriz de involucrados $P_X-\frac{J}{n}$ es no necesariamente una matriz de proyección! Pero si usted tiene un término de intersección en la regresión, a continuación, va a ser es decir, el modelo se parece a $y_i=\beta_1+\sum x_{ij}.\beta_j$ o en otras palabras $X$ $1$ como uno de la misma columna, es decir,$1\in \mathscr{C}(X)$. Si tenemos, $P_X.\mathbb{1}=1\Rightarrow (P_X-\frac{J}{n})(P_X-\frac{J}{n})=...=P_X-\frac{J}{n}$ es decir idempotente! Por lo tanto podemos aplicar el Teorema 4.

Por la independencia de la ESS de SSR y utilice el hecho de que $(I-P_X)(P_X-\frac{J}{n})=0$