La varianza de los residuales vs MLE de la varianza del término de error

Question

Un importante teorema de la regresión lineal es que el máximo de estimaciones de probabilidad (Emv) de los coeficientes coincide con el de mínimos cuadrados estimados.

¿Qué acerca de la varianza del término de error? Hace su MLE coincide con la varianza de los residuos, es decir,

$$ \frac{∑_i (Y_i - \hat Y_i)^2}{n} $$

donde el $Y_i$s son los valores observados de la variable dependiente, el $\hat Y_i$s son los valores ajustados, y $n$ es el tamaño de la muestra?

Answer 1

Si $Y \sim \mathcal N(X\beta, \sigma^2 I)$, a continuación, el registro de probabilidad es $$ l(\beta \sigma^2|y) = -\frac n2 \log (2\pi) - \frac n2 \log(\sigma^2) - \frac 1{2\sigma^2}||y-X\beta||^2 $$ y suponiendo que no estocástico y el rango completo de los predictores. A partir de esto nos encontramos con que $$ \frac{\partial l}{\parcial \sigma^2} = 0 \implica \hat \sigma^2 = \frac 1n ||Y-X\hat \beta||^2. $$

Nota $$ ||Y - X\hat \beta||^2 = (Y - H)^T(Y - HY) = Y^T(I-H)Y $$ donde $H = X(X^TX)^{-1}X^T$. Esto significa que tenemos una Gaussiana forma cuadrática, por lo que $$ Var\left(Y^T (I-H)Y\right) = 2\sigma^4 \text{tr}(I-H) + 4\sigma^2 \beta^T X^T(I-H)X\beta. $$ $X^T(I-H)X = X^TX - X^TX(X^TX)^{-1}X^TX = 0$ $\text{tr}(I-H) = n-p$ , por lo que tenemos $$ Var(\hat \sigma^2) = \frac{2\sigma^4(n-p)}{n^2}. $$

El estándar de la estimación de $\sigma^2$ es, probablemente, $\tilde \sigma^2 := \frac{1}{n-p}||Y - X\hat \beta||^2$ (que es imparcial, como podemos ver mediante el cálculo de $E\left(Y^T(I-H)Y\right)$) por lo $$ Var(\tilde \sigma^2) = \frac{2\sigma^4}{n-p}. $$

No estoy totalmente seguro de lo que más de esto que estás buscando, ya que técnicamente lo que se pedía era la varianza de los residuos que se $$ Var(e) = Var\left((I-H)Y\right) =\sigma^2 (I-H) $$ pero no creo que eso es lo que quieres decir. O si eso es lo que quiere decir, entonces podemos comparar directamente este a $Var(\varepsilon) = \sigma^2 I$ y la diferencia se reduce a $\sigma^2 H$.