Supongamos que tengo las matrices de covarianza y correlación de varias variables. Sé que una de las variables es casi una combinación lineal de las demás. ¿Existe alguna característica de la fila correspondiente de la matriz de covarianza (correlación) que pueda utilizar para elegir esta variable?
Respuesta
¿Demasiados anuncios?
Martin Robins
Puntos
1893
Digamos que tienes alguna variable aleatoria $Y$ y quieres saber el proyección de $Y$ en una serie de variables aleatorias $X_1, \ldots, X_k$ y una constante 1. Se trata de una regresión lineal de la variable aleatoria $Y$ sobre un vector aleatorio $\mathbf{X} = \begin{bmatrix} X_1 \\ X_2 \\ \ldots \\ X_k \end{bmatrix}$ y 1. ¿Se puede hacer eso sabiendo sólo las matrices de covarianza? Sí.
-
Definir el producto interior de variables aleatorias $U$ y $V$ como $\langle U, V \rangle = \operatorname{E}[UV]$ . En consecuencia, covarianza es el producto interno de las variables aleatorias degradadas.
-
Dejemos que $\Sigma_{\mathbf{X}\mathbf{X}} = \operatorname{Cov}\left( \mathbf{X} \right) = \operatorname{E}[(\mathbf{X} - \operatorname{E}[\mathbf{X}](\mathbf{X} - \operatorname{E}[\mathbf{X}]')$ sea la matriz de covarianza del vector aleatorio $\mathbf{X}$ .
-
Dejemos que $\Sigma_{\mathbf{X}Y} = \operatorname{Cov}\left( \mathbf{X}, Y \right) = \operatorname{E}\left[(\mathbf{X} - \operatorname{E}[\mathbf{X}])(Y - \operatorname{E}[Y]) \right] $ ser un $k$ por 1 matriz que da la covarianza con $X_1$ y $Y$ , $X_2$ y $Y$ etc...
Entonces podemos escribir la descomposición ortogonal:
$$ Y - \operatorname{E}[Y] = \left( \mathbf{X} - \operatorname{E}[\mathbf{X}] \right) \cdot \mathbf{b} + \epsilon $$ Haciendo algo de álgebra:
$$ Y = \underbrace{ \left( \operatorname{E}[Y] + \mathbf{b} \cdot \operatorname{E}[\mathbf{X}] \right)}_{\text{intercept}} + \mathbf{b} \cdot \mathbf{X} + \underbrace{\epsilon}_{\text{error term}} $$
Dónde: $$\mathbf{b} = \Sigma_{\mathbf{X}\mathbf{X}}^{-1} \Sigma_{\mathbf{X}Y}$$
Y $\epsilon$ es una variable aleatoria ortogonal al tramo lineal de las variables aleatorias $X_1, \ldots, X_k$ y 1. (Nótese que la ortogonalidad de $\epsilon$ a 1 implica que $\operatorname{E}[\epsilon] = 0$ .)
Ejemplo:
Sea la matriz de covarianza de $ \begin{bmatrix} X_1 \\ X_2 \\ Y \end{bmatrix}$ sea dada por:
$$ \Sigma = \begin{bmatrix} 1.0010 & 0.5005 & 3.5035\\ 0.5005 & 1.2505 & 4.7529\\ 3.5035 & 4.7529 & 22.2675\end{bmatrix} $$
Entonces $$\Sigma_{XX} = \begin{bmatrix} 1.0010 & 0.5005 \\ 0.5005 & 1.2505 \end{bmatrix} \quad \quad \Sigma_{XY} = \begin{bmatrix} 3.5035\\4.7529 \end{bmatrix}$$
$$ \mathbf{b} = \Sigma_{XX}^{-1} \Sigma_{XY} \approx \begin{bmatrix} 2 \\ 3 \end{bmatrix} $$
Y podríamos escribir $$ Y = \alpha + 2X_1 + 3 X_2 + \epsilon$$ donde $\alpha$ es un escalar y $\epsilon$ es una variable aleatoria de media cero ortogonal a la $X_1$ y $X_2$ .
¿Quizás quieras el espacio nulo de tu matriz de covarianza?
Por tu comentario, parece que quieres saber qué vectores span el el espacio nulo de la matriz de covarianza. Por ejemplo, en MATLAB, se llamaría null(Sigma) donde Sigma es su matriz de covarianza.
El cálculo del espacio nulo se realiza normalmente a través de un descomposición del valor singular .
Dejemos que $\mathbf{w}$ sea un vector y $\mathbf{X}$ sea un vector aleatorio.. Si $\mathbf{w}$ pertenece al espacio nulo de $\Sigma = \operatorname{Cov}(\mathbf{X})$ entonces:
$$ \Sigma \mathbf{w} = \mathbf{0} $$
Por lo tanto, $\operatorname{Var}\left(\mathbf{X} \cdot \mathbf{w} \right) = 0$ y $\mathbf{X} \cdot \mathbf{w} = 0$ casi seguro.
