Varianza de la pendiente

Question

Tengo un montón de datos a los que he ajustado una regresión lineal, y ahora necesito encontrar la varianza de mi pendiente. ¿Hay alguna forma analítica de obtenerla?

Si es necesario un ejemplo, considere estos mis datos en R:

x <- c(1:6)
y <- c(18, 14, 15, 12, 7, 6)
lm(y ~ x)$coefficients

Así que tengo una estimación de la pendiente de -2.4 pero quiero saber la varianza de esa estimación.

Después de mirar preguntas anteriores, he visto unas cuantas ecuaciones para estimar el parámetro de la pendiente, pero estoy un poco confundido sobre cuáles son las diferencias entre las ecuaciones y qué enfoque es válido para mi problema.

Por ejemplo, las respuestas en esta pregunta dicen que $\newcommand{\Var}{\rm Var}\newcommand{\slope}{\rm slope}\Var[\slope] = \frac{V[Y]}{\sum\left(\frac{x_i-\bar{x}}{\sum(x_i-\bar{x})^2}\right)}$ .

Esta pregunta dice que $\Var[\slope] = \frac{V[Y]}{\sum(x_i-\bar{x})^2}$ .

Y si miro la salida en R (como mecanismo de "comprobación"), me dan otras dos formas en las que potencialmente podría calcular la varianza de la pendiente (una usando el error estándar, otra dada la matriz de covarianza). Siento que me estoy perdiendo algo clave porque todas estas estimaciones me dan una respuesta similar (pero no la misma).

Answer 1

Para una regresión lineal estándar que cumple con los supuestos normales, las varianzas de las estimaciones de sus parámetros se pueden tomar de la matriz de covarianza de la varianza, $\Sigma$ . Por ejemplo, la varianza del intercepto es el primer elemento de la diagonal principal, $\Sigma_{11}$ . La varianza de la pendiente en $X_1$ es el segundo elemento de la diagonal principal, $\Sigma_{22}$ y así sucesivamente.

Probablemente hay muchas maneras de pelar un gato, pero el cálculo estándar para la matriz de covarianza de la varianza utiliza la varianza residual de su modelo y su matriz de diseño. Entonces es:
$$ \rm{VCov(model)} = s^2(X' X)^{-1} $$ Aquí hay un ejemplo trabajado de los cálculos con sus datos y R:

x = c(1:6);    y = c(18, 14, 15, 12, 7, 6);    m = lm(y ~ x)
summary(m)
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)  20.4000     1.4119   14.45 0.000133 ***
# x            -2.4000     0.3625   -6.62 0.002700 ** 
# 
# Residual standard error: 1.517 on 4 degrees of freedom
s = summary(m)$sigma;  s  # [1] 1.516575
dm = model.matrix(m);  dm
#   (Intercept) x
# 1           1 1
# 2           1 2
# 3           1 3
# 4           1 4
# 5           1 5
# 6           1 6
s^2*solve(t(dm)%*%dm)
#             (Intercept)          x
# (Intercept)    1.993333 -0.4600000
# x             -0.460000  0.1314286
vcov(m)  # you can see that this is the same as the manual calculation above
#             (Intercept)          x
# (Intercept)    1.993333 -0.4600000
# x             -0.460000  0.1314286
sqrt(diag(vcov(m)))  # these are the same standard errors as the summary output
# (Intercept)           x 
#   1.4118546   0.3625308

Answer 2

Es fácil hacer esto para el caso de la regresión múltiple: \begin {align} \text {Var}((X'X)^{-1}X'y) &= (X'X)^{-1}X' \text {Var}(y)X'(X'X)^{-1} \\ &=(X'X)^{-1}X'( \sigma ^2I)X'(X'X)^{-1} \\ &= \sigma ^2(X'X)^{-1}X'X'(X'X)^{-1} \\ &= \sigma ^2(X'X)^{-1} \end {align} que suele estimarse mediante $s^2(X'X)^{-1}$