Uso de la descomposición del valor singular para calcular la matriz de covarianza de la varianza del modelo de regresión lineal

Question

Tengo una matriz de diseño de p regresores, n observaciones, y estoy tratando de calcular la matriz de varianza-covarianza muestral de los parámetros. Estoy tratando de calcularla directamente usando svd.

Estoy usando R, cuando tomo svd de la matriz de diseño, obtengo tres componentes: una matriz $U$ que es $n \times p$ , una matriz $D$ que es $1\times 3$ (presumiblemente valores propios), y una matriz $V$ que es $3\times 3$ . He diagonalizado $D$ , lo que la convierte en una $3\times 3$ matriz con 0's en los off-diagonales.

Supuestamente, la fórmula de la covarianza es: $V D^2 V'$ Sin embargo, la matriz no coincide, ni siquiera se acerca a la función incorporada de R, vcov . ¿Alguien tiene algún consejo/referencia? Admito que soy un poco inexperto en esta área.

Answer 1

En primer lugar, recordemos que bajo los supuestos de normalidad multivariante del modelo de regresión lineal, tenemos que $$ \hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) . $$

Ahora bien, si $X = U D V^T$ donde el lado derecho es la SVD de X, entonces obtenemos que $X^T X = V D U^T U D V = V D^2 V^T$ . Por lo tanto, $$ (X^T X)^{-1} = V D^{-2} V^T . $$

Todavía nos falta la estimación de la varianza, que es $$ \hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) . $$

Aunque no lo he comprobado, espero que vcov devuelve $\hat{\sigma}^2 V D^{-2} V^T$ .

Nota: Usted escribió $V D^2 V^T$ que es $X^T X$ pero necesitamos la inversa para la matriz de varianza-covarianza. También hay que tener en cuenta que en $R$ Para hacer este cálculo hay que hacer

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

observando que para la multiplicación de matrices utilizamos %*% en lugar de sólo * . var.est es la estimación de la varianza del ruido.

(Además, he hecho las suposiciones de que $X$ es de rango completo y $n \geq p$ en todo. Si no es el caso, tendrá que hacer pequeñas modificaciones en lo anterior).