¿Cómo interpretar una matriz inversa de covarianza o de precisión?

Question

Me preguntaba si alguien podría señalarme algunas referencias que discuten la interpretación de los elementos de la matriz de covarianza inversa, también conocida como matriz de concentración o matriz de precisión.

Tengo acceso al libro de Cox y Wermuth Dependencias Multivariadas, pero lo que busco es una interpretación de cada elemento en la matriz inversa. Wikipedia afirma: "Los elementos de la matriz de precisión tienen una interpretación en términos de correlaciones parciales y varianzas parciales," lo que me lleva a esta página. ¿Existe una interpretación sin utilizar regresión lineal? Es decir, ¿en términos de covarianzas o geometría?

Answer 1

Hay básicamente dos cosas que se pueden decir. La primera es que si se observa la densidad para la distribución normal multivariante (con media 0 aquí) es proporcional a $$\exp\left(-\frac{1}{2}x^T P x\right)$$ donde $P = \Sigma^{-1}$ es la inversa de la matriz de covarianza, también llamada precisión. Esta matriz es definida positiva y define a través de $$(x,y) \mapsto x^T P y$$ un producto interno en $\mathbb{R}^p$. La geometría resultante, que da un significado específico al concepto de ortogonalidad y define una norma relacionada con la distribución normal, es importante, y para entender, por ejemplo, el contenido geométrico de LDA es necesario ver las cosas a la luz de la geometría dada por $P$.

La otra cosa que se puede decir es que las correlaciones parciales se pueden leer directamente de $P$, ver aquí. La misma página de Wikipedia menciona que las correlaciones parciales, y por lo tanto las entradas de $P$, tienen una interpretación geométrica en términos del coseno de un ángulo. Lo que es, tal vez, más importante en el contexto de las correlaciones parciales es que la correlación parcial entre $X_i$ y $X_j$ es 0 si y solo si la entrada $i,j$ en $P$ es cero. Para la distribución normal las variables $X_i$ y $X_j$ son entonces condicionalmente independientes dado el resto de las variables. De eso trata el libro de Steffen, al que hice referencia en el comentario anterior. Independencia condicional y modelos gráficos. Tiene un tratamiento bastante completo de la distribución normal, pero puede que no sea tan fácil de seguir.

Answer 2

Me gusta este modelo gráfico probabilístico para ilustrar el punto de NRH de que la correlación parcial es cero si y solo si X es condicionalmente independiente de Y dado Z, con la suposición de que todas las variables involucradas son Gaussianas multivariadas (esta propiedad no se cumple en el caso general):

(los $y_i$ son variables aleatorias Gaussianas; ignora T y k)

Source: Charla de David MacKay sobre Conceptos Básicos de Procesos Gaussianos, minuto 25.

Answer 3

La interpretación basada en correlaciones parciales es probablemente la más útil estadísticamente, ya que se aplica a todas las distribuciones multivariadas. En el caso especial de la distribución Normal multivariada, una correlación parcial cero corresponde a independencia condicional.

Puedes derivar esta interpretación utilizando el complemento de Schur para obtener una fórmula para las entradas de la matriz de concentración en términos de las entradas de la matriz de covarianza. Ver http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

Answer 4

La matriz de covarianza puede representar las relaciones entre todas las variables, mientras que la covarianza inversa muestra las relaciones de los elementos con sus vecinos (como Wikipedia dice, relaciones parciales/por pares).

Presto el siguiente ejemplo de aquí en el minuto 24:10. Imagina que 5 masas están conectadas entre sí y se balancean alrededor con 6 resortes. La matriz de covarianza contendría la correlación de todas las masas, si una va hacia la derecha, las otras también pueden ir hacia la derecha, pero la matriz de covarianza inversa muestra la relación de esas masas que están conectadas por los mismos resortes (vecinos) y contiene muchos ceros y no es necesariamente positiva.

Answer 5

Bar-Shalom y Fortmann (1988) mencionan la covarianza inversa en el contexto del filtrado de Kalman de la siguiente manera:

...existe una recursión para la covarianza inversa (o matriz de información)

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

...De hecho, se pueden desarrollar un conjunto completo de ecuaciones de predicción y actualización, conocidas como el filtro de información[8, 29, 142], para la covarianza inversa y un vector de estado transformado $\mathbf{P}^{-1}\hat{\mathbf{x}}$.

El libro está indexado en Google.