Fórmula para calcular la matriz beta en el análisis multivariante

Question

Tengo que realizar un análisis multivariante sobre $n$ variables aleatorias con una muestra de $m$ puntos de datos. Me gustaría obtener una matriz con los $\beta$ (como en $n$ $\beta$ vectores juntos).

¿Existe una fórmula analítica para ello o tengo que calcular cada vector por separado y volver a unirlos?

¿Existe también una fórmula que me proporcione directamente un vector del error de estimación para cada variable?

Answer 1

Creo que entiendo lo que preguntas, pero corrígeme si me equivoco. La fórmula analítica para $\beta$ es el mismo para el caso multivariante que para el caso univariante: $$ \hat \beta = (X'X)^{-1}X'Y $$

Se encuentra de la misma manera que para el caso univariante, tomando la primera derivada de la suma de cuadrados residual. Es relativamente sencillo de calcular utilizando el cálculo de matrices (que está cubierto en el libro de cocina de matrices enlazado por queenbee). Puede probar si esta solución funciona en R:

y <- cbind(rnorm(10), rnorm(10), rnorm(10))

x <- cbind(1, rnorm(10), rnorm(10), rnorm(10),
       rnorm(10), rnorm(10), rnorm(10))
colnames(x) <- paste("x", 1:6, sep = "")
colnames(y) <- paste("y", 1:3, sep = "")

fit <- lm(y ~ x - 1)
summary(fit)

anaSol <- solve((t(x) %*% x)) %*% t(x) %*% y
anaSol

coef(fit) - anaSol

Aquí hay otra referencia, específicamente relacionada con el análisis multivariante: http://socserv.mcmaster.ca/jfox/Books/Companion/appendix/Appendix-Multivariate-Linear-Models.pdf

Answer 2

Si tiene $q$ ecuaciones y $p$ variables independientes (incluyendo una constante) que aparecen en cada ecuación, las estimaciones de los parámetros vienen dadas por el $p \times q$ matriz:

$$M=(X'IX)^{-1}X'IY$$

donde

• $Y$ es $n \times q$ matriz de variables dependientes
• X es $n \times p$ matriz de covariables
• I es la matriz de identidad

Answer 3

Otras respuestas cubren muy bien cómo derivar el $\beta$ coeficientes. No estoy seguro de lo que quiere decir con $n, \beta$ "poner juntos". Pero, si quiere decir que quiere utilizar los coeficientes para derivar los valores predichos del modelo utilizando los coeficientes, es simplemente el producto $XB$ , donde $X$ es un $m \times n$ matriz de $m$ observaciones, cada una con $n$ variables independientes, y $B$ a $n \times p$ matriz de coeficientes de regresión. ( $p$ es el número de variables dependientes).

A su pregunta sobre el error estándar, para una sola variable independiente y un solo coeficiente, la fórmula es :

$s.e.(\beta_j) = \sqrt{s^2 (X'X)^{-1}_{jj} }$

donde $s^2$ es la suma de los residuos al cuadrado, dada por $\sum_i y_i -\hat y_i $ , sobre $m - n$ . (Más aquí .) Ampliar la fórmula para devolver un vector de errores estándar correspondientes a cada coeficiente:

$s.e.(\beta) = \sqrt{s^2 diag(X'X)^{-1} }$

donde $diag$ devuelve la diagonal de la matriz. Para ampliar esa fórmula y devolver una matriz de error estándar correspondiente a cada $\beta$ coeficiente, sustituir $s^2$ con $S^2$ un vector de filas que contiene el $s^2$ para cada variable independiente:

$s.e.(B) = \sqrt{diag(X'X)^{-1} S^2 }$

Tenga en cuenta que el vector devuelto por $diag$ debe ser $n \times 1$ y $S^2$ $1 \times p$ haciendo que su producto $n \times p$ Los errores estándar correspondientes a los coeficientes en $B$ . (Raíz cuadrada aplicada de nuevo por elementos).