Convergencia casi segura de $\hat{\sigma^2}$

Question

Sea $Y \sim N(X\beta,\sigma^2I)$ donde $Rank(X_{n\times p})=p \leq n$ . La estimación por mínimos cuadrados de $\sigma^2$ es $\hat{\sigma^2}=\frac{Y'(I-P)Y}{n-p}$ donde $P=X(X'X)^{-1}X'$ es la matriz de proyección sobre $C(X)$ . Ahora por la desigualdad de Chebyshev es fácil demostrar $\hat{\sigma^2}\xrightarrow[]{P}\sigma^2$ . Pero, ¿cómo puedo mostrar

Pregunta: $\hat{\sigma^2}\xrightarrow[]{a.s.}\sigma^2$ ?

Mi enfoque : $Z=(I-P)Y \sim N(0,\sigma^2(I-P))$

$\hat{\sigma^2}=\frac{Z'Z}{n-p}=\frac{n}{n-p}\frac{\sum Z_i^2}{n}$ . Aunque $\frac{n}{n-p} \rightarrow 1$ pero no puedo aplicar SLLN como $Z_i$ no son $i.i.d$ que es donde estoy atascado.

Otra pregunta : Si abandonamos el supuesto de normalidad, ¿podemos afirmar lo anterior (es decir, convergencia a.s. o convergencia en probabilidad)?

Answer 1

El modelo viene dado por

$$ y_i=X_i^{\top}\beta_0+\epsilon_i. $$

Denote $e:=(Y-X\hat \beta)=(I-P)Y=(I-P)(X\beta_0+\epsilon)=(I-P)\epsilon$ . Entonces

$$ \hat{\sigma}^2=\frac{e^{\top}e}{n-p}=\frac{\epsilon^{\top}(I-P)\epsilon}{n-p}=\frac{n}{n-p}\left[\frac{\epsilon^{\top}\epsilon}{n}-\frac{\epsilon^{\top}X}{n}\left(\frac{X^{\top}X}{n} \right)^{-1}\frac{X^{\top}\epsilon}{n} \right]. $$

No se necesitan supuestos de distribución para demostrar que $\hat{\sigma}^2=\sigma^2+o_{a.s}(1)$ . Es necesario imponer hipótesis adecuadas sobre los momentos de $\epsilon_i$ y $X_i$ para utilizar uno de los SLLN. A continuación,

\begin{align} \hat{\sigma}^2&=\frac{n}{n-p}\left[\frac{1}{n}\sum \epsilon_i^2-\frac{1}{n}\sum(\epsilon_iX_i^{\top}) \left(\frac{1}{n}\sum (X_iX_i^{\top}) \right)^{-1}\frac{1}{n}\sum(X_i\epsilon_i) \right] \\ &=(1+o(1))\left[(\sigma^2+o_{a.s.}(1))-o_{a.s.}(1)O_{a.s.}(1)o_{a.s.}(1)\right] \\[0.8em] &=\sigma^2+o_{a.s.}(1). \end{align}

Por ejemplo, si $(X_i,\epsilon_i)$ son i.i.d., basta con suponer que $\mathsf{E}\epsilon_i^2<\infty$ y $\mathsf{E}X_{i,j}^2<\infty$ para $j=1,\dots,p$ (también $\mathsf{E}[X_iX_i^{\top}]$ debe ser invertible).