Determinar los elementos fuera de la diagonal de la matriz de covarianza, dados los elementos de la diagonal

Question

Tengo alguna matriz de covarianza $$A = \begin{bmatrix}121 & c\\c & 81\end{bmatrix}$$

El problema es determinar los posibles valores de $c$.

Ahora sé que los elementos de esta matriz se dan por la definición usual de la covarianza,

$$\frac{1}{N-1} \sum_{i=1}^N (X_i - \bar{x})(Y_i - \bar{y})$$

y así por ejemplo,

$$\frac{1}{N-1} \sum_{i=1}^N (X_i - \bar{x})^2 = 121$$

$$\frac{1}{N-1} \sum_{i=1}^N (Y_i - \bar{y})^2 = 81$$

Pero no veo cómo llegar a determinar $c$ a partir de aquí?

Answer 1

Puede resultar instructivo comenzar con una idea básica: la varianza de cualquier variable aleatoria no puede ser negativa. (Esto es claro, ya que la varianza es la esperanza del cuadrado de algo y los cuadrados no pueden ser negativos.)

Cualquier matriz de covarianza $2\times 2$ $\mathbb A$ presenta explícitamente las varianzas y covarianzas de un par de variables aleatorias $(X,Y),$ pero también te indica cómo encontrar la varianza de cualquier combinación lineal de esas variables. Esto se debe a que siempre que $a$ y $b$ sean números,

$$\operatorname{Var}(aX+bY) = a^2\operatorname{Var}(X) + b^2\operatorname{Var}(Y) + 2ab\operatorname{Cov}(X,Y) = \pmatrix{a&b}\mathbb A\pmatrix{a\\b}.$$

Aplicando esto a tu problema podemos calcular

$$\begin{aligned} 0 \le \operatorname{Var}(aX+bY) &= \pmatrix{a&b}\pmatrix{121&c\\c&81}\pmatrix{a\\b}\\ &= 121 a^2 + 81 b^2 + 2c^2 ab\\ &=(11a)^2+(9b)^2+\frac{2c}{(11)(9)}(11a)(9b)\\ &= \alpha^2 + \beta^2 + \frac{2c}{(11)(9)} \alpha\beta. \end{aligned}$$

Los últimos pasos en los que se introdujeron $\alpha=11a$ y $\beta=9b$ no eran necesarios, pero ayudan a simplificar el álgebra. En particular, lo que necesitamos hacer a continuación (para encontrar límites para $c$) es completar el cuadrado: este es el proceso que emula la derivación de la fórmula cuadrática a la que todos somos introducidos en la escuela primaria. Escribiendo

$$C = \frac{c}{(11)(9)},\tag{*}$$

encontramos

$$\alpha^2 + \beta^2 + \frac{2c^2}{(11)(9)} \alpha\beta = \alpha^2 + 2C\alpha\beta + \beta^2 = (\alpha+C\beta)^2+(1-C^2)\beta^2.$$

Porque $(\alpha+C\beta)^2$ y $\beta^2$ son ambos cuadrados, no son negativos. Por lo tanto, si $1-C^2$ también es no negativo, todo el lado derecho no es negativo y puede ser una varianza válida. En cambio, si $1-C^2$ es negativo, podrías establecer $\alpha=-c\beta$ para obtener el valor $(1-C^2)\beta^2\lt 0$ en el lado derecho, lo cual es inválido.

Por lo tanto, deduces (a partir de estas consideraciones algebraicas perfectamente elementales) que

Si $A$ es una matriz de covarianza válida, entonces $1-C^2$ no puede ser negativo.

De manera equivalente, $|C|\le 1,$ lo cual significa, según $(*)$, que $-(11)(9) \le c \le (11)(9).$

---

Queda la pregunta de si algún $c$ así corresponde a una matriz de varianza real. Una forma de demostrar que esto es cierto es encontrar una variable aleatoria $(X,Y)$ con $\mathbb A$ como su matriz de covarianza. Aquí hay una forma (de muchas).

Doy por sentado que puedes construir variables aleatorias independientes $A$ y $B$ con varianzas unitarias: es decir, $\operatorname{Var}(A)=\operatorname{Var}(B) = 1.$ (Por ejemplo, permite que $(A,B)$ tome los cuatro valores $(\pm 1, \pm 1)$ con probabilidades iguales de $1/4$ cada una.)

La independencia implica $\operatorname{Cov}(A,B)=0.$ Dado un número $c$ en el rango de $-(11)(9)$ a $(11)(9),$ define variables aleatorias

$$X = \sqrt{11^2-c^2/9^2}A + (c/9)B,\quad Y = 9B$$

(lo cual es posible porque $11^2 - c^2/9^2\ge 0$) y calcula que la matriz de covarianza de $(X,Y)$ es precisamente $\mathbb A.$

---

Finalmente, si llevas a cabo el mismo análisis para cualquier matriz simétrica $$\mathbb A = \pmatrix{a & b \\ b & d},$$ concluirás tres cosas:

1. $a \ge 0.$

2. $d \ge 0.$

3. $ad - b^2 \ge 0.$

Estas condiciones caracterizan matrices simétricas, semi-definidas positivas. Cualquier matriz $2\times 2$ que satisfaga estas condiciones realmente es una matriz de varianza. (Emula la construcción anterior.)

Answer 2

Un método intuitivo para determinar rápidamente esta respuesta es simplemente recordar que las matrices de covarianza pueden interpretarse en la forma

$$\begin{equation} A = \begin{pmatrix} \sigma_1^2 & \rho_{12}\sigma_1\sigma_2 &\rho_{13}\sigma_1\sigma_3 & \cdots & \rho_{1n}\sigma_1 \sigma_n \\ & \sigma_2^2 & \rho_{23}\sigma_2\sigma_3 & \cdots & \rho_{2n}\sigma_2 \sigma_n \\ & & \sigma_3^2 & \cdots & \rho_{3n}\sigma_3 \sigma_n \\ & & & \ddots & \vdots \\ & & & & \sigma_n^2 \end{pmatrix} \end{equation}$$

donde $\rho_{ab} \in [-1,1]$ es un Coeficiente de Correlación de Pearson. En tu caso tienes

$$\begin{align} \sigma_1^2 = 121 ,~~~ \sigma_2^2 = 81 ~\Longrightarrow ~ |c| \leq \sqrt{121\cdot 81} = 99 \end{align}$$

es decir, $c \in [-99, 99]$.

Answer 3

$A$ es posdefinita, por lo que según el criterio de Sylvester $det(A) = 121 \cdot 81 - c^2 \geq 0$. Por lo tanto, cualquier $c \in [-99, 99]$ producirá una matriz de covarianza válida.

Answer 4

Hay tres posibilidades principales a tener en cuenta. Una es que las variables estén sin correlación, en cuyo caso las entradas fuera de la diagonal son fáciles de calcular como 0. Otra posibilidad es que realmente no tengas dos variables diferentes. $y$ es simplemente un múltiplo escalar de $x$ (es decir, una correlación perfecta). Si $y= c x$, entonces $\sigma_{xy} =\sigma_{x}\sigma_{xy}=99$. Obtenemos una tercera posibilidad al notar que lo anterior asume $c>0$. Para $c<0$, obtenemos $\sigma_{xy} =-99$.

Geométricamente, la covarianza entre dos vectores es el producto de sus longitudes multiplicado por el coseno del ángulo entre ellos. Dado que el coseno varía de $-1$ a $1$, la covarianza varía desde el producto de sus longitudes hasta el negativo del producto.

Otro enfoque es considerar $z_1 = \frac{x-\mu_{x}}{\sigma_{x}}$ y $z_2 = \frac{y-\mu_y}{\sigma_{y}}$. $\sigma_{xy} = \sigma_{(\sigma_x z_1)(\sigma_y z_2)}=\sigma_x \sigma_y \sigma_{z_1z_2}=99\sigma_{z_1z_2}$ y $\sigma_{z_1z_2}$ es simplemente la correlación entre $x$ y $y$, que varía de $-1$ a $1$.