¿Cuándo existe la inversa de una matriz de covarianza?

Question

Sabemos que una matriz cuadrada es una matriz de covarianza de algún vector aleatorio si y sólo si es simétrica y semidefinida positiva (véase Matriz de covarianza ). También sabemos que toda simetría positiva Definitivamente es invertible (véase Positivo definido ). Parece que la inversa de una matriz de covarianza a veces no existe.

¿Existe la inversa de una matriz de covarianza si y sólo si la matriz de covarianza es positiva definida? ¿Cómo puedo entender intuitivamente la situación cuando la inversa de una matriz de covarianza no existe (significa que algunas de las variables aleatorias del vector aleatorio son iguales a una constante casi segura)?

Cualquier ayuda será muy apreciada.

Answer 1

Si la matriz de covarianza no es positiva definida, tenemos alguna $a \in \mathbf R^n \setminus \{0\}$ con $\def\C{\mathop{\rm Cov}}\C(X)a = 0$ . Por lo tanto, \begin {align*} 0 &= a^t \C (X)a \\ &= \sum_ {ij} a_j \C (X_i, X_j) a_i \\ &= \mathop { \rm Var} \left ( \sum_i a_i X_i \right ) \end {align*} Así que hay alguna combinación lineal de los $X_i$ que tiene varianza cero y por lo tanto es constante, digamos que es igual a $\alpha$ casi seguro. Dejando $H := \{x \in \mathbf{R}^n: \sum_{i} a_i x_i = \alpha\}$ Esto significa, como escribió @drhab $\mathbf P(X \in H) = 1$ para el hiperplano $H$ .

Answer 2

Como se explica muy bien aquí ¿Cuál es la mejor manera de pensar en la matriz de covarianza?

si $A$ es la matriz de covarianza de un vector aleatorio $X\in\mathbb{R}^n$ , entonces para cada $\beta\in\mathbb{R}^n$ la varianza del producto interior $\langle\beta,X\rangle$ viene dada por $\langle A\beta,\beta\rangle$ . Ahora bien, si $A$ no es invertible, existe un vector no nulo $\beta\neq 0$ tal que $A\beta=0$ y así $\langle A\beta,\beta\rangle = 0$ lo que significa que la varianza de $\langle X,\beta\rangle$ es cero.

Propuesta 1 . Si la matriz de covarianza de un vector aleatorio $X$ no es invertible, entonces existe una combinación lineal no trivial de los componentes de $X$ cuya varianza es cero .

Esto está estrechamente relacionado con lo que drhab mencionó en un comentario anterior, ya que si la varianza de $\langle X,\beta\rangle$ es cero, entonces $X-a\beta$ es casi seguramente ortogonal a $\beta$ para alguna constante $a$ De hecho, una formulación alternativa pero equivalente a la proposición anterior es:

Propuesta 2 . Si la matriz de covarianza de un vector aleatorio $X$ no es invertible entonces existe $\beta\neq 0$ tal que una traducción de $X$ es ortogonal a $\beta$ con probabilidad uno .

Answer 3

En realidad la pregunta tiene poco que ver con la teoría de la probabilidad, la observación es válida para cualquier matriz cuadrada independientemente de su origen.

Es fácil de demostrar considerando los valores propios de la matriz. Si y sólo si todos ellos son distintos de cero, la matriz es invertible. Se deduce de la ecuación característica $\det (A-\lambda I)=0$ , si $\lambda = 0$ es una solución entonces y sólo entonces $\det(A-0I) = \det(A) = 0$ .

Positivo definido significa que todos los valores propios son positivos, pero positivo semidefinido significa sólo que son no negativos.

Answer 4

Estas son algunas reflexiones . Dejemos que $x$ sea un vector aleatorio cuyas entradas son i.i.d. Sea $A$ sea cualquier matriz cuadrada que no sea de rango completo. Entonces la matriz de covarianza del vector aleatorio $y=Ax$ no es invertible. Para ver esto, observe que $E[Axx^TA]=AE[xx^T]A^T$ . Así, independientemente del rango de $E[xx^T]$ la matriz de covarianza de $y$ no será invertible.