¿Cuál es la prueba de que las matrices de covarianza son siempre semidefinidas?

Question

Supongamos que tenemos dos vectores de señales discretas diferentes de $N^\text{th}$ dimensión, a saber $\mathbf{x}[i]$ y $\mathbf{y}[i]$ cada uno con un total de $M$ conjunto de muestras/vectores.

$\mathbf{x}[m] = [x_{m,1} \,\,\,\,\, x_{m,2} \,\,\,\,\, x_{m,3} \,\,\,\,\, ... \,\,\,\,\, x_{m,N}]^\text{T}; \,\,\,\,\,\,\, 1 \leq m \leq M$
$\mathbf{y}[m] = [y_{m,1} \,\,\,\,\, y_{m,2} \,\,\,\,\, y_{m,3} \,\,\,\,\, ... \,\,\,\,\, y_{m,N}]^\text{T}; \,\,\,\,\,\,\,\,\, 1 \leq m \leq M$

Y, construyo una matriz de covarianza entre estas señales.

$\{C\}_{ij} = E\left\{(\mathbf{x}[i] - \bar{\mathbf{x}}[i])^\text{T}(\mathbf{y}[j] - \bar{\mathbf{y}}[j])\right\}; \,\,\,\,\,\,\,\,\,\,\,\, 1 \leq i,j \leq M $

Dónde, $E\{\}$ es el operador de "valor esperado".

¿Cuál es la prueba de que, para todos los valores arbitrarios de $\mathbf{x}$ y $\mathbf{y}$ conjuntos de vectores, la matriz de covarianza $C$ es siempre semidefinido ( $C \succeq0$ ) (es decir, no se define negativamente; todos sus valores propios son no negativos)?

Answer 1

Una matriz simétrica $C$ de tamaño $n\times n$ es semidefinido si y sólo si $u^tCu\geqslant0$ por cada $n\times1$ (columna) vector $u$ , donde $u^t$ es el $1\times n$ vector transpuesto (línea). Si $C$ es una matriz de covarianza en el sentido de que $C=\mathrm E(XX^t)$ para algunos $n\times 1$ vector aleatorio $X$ entonces la linealidad de la expectativa da como resultado que $u^tCu=\mathrm E(Z_u^2)$ , donde $Z_u=u^tX$ es una variable aleatoria de valor real, en particular $u^tCu\geqslant0$ por cada $u$ .

Si $C=\mathrm E(XY^t)$ para dos vectores aleatorios centrados $X$ y $Y$ entonces $u^tCu=\mathrm E(Z_uT_u)$ donde $Z_u=u^tX$ y $T_u=u^tY$ son dos variables aleatorias centradas de valor real. Por lo tanto, no hay razón para esperar que $u^tCu\geqslant0$ por cada $u$ (y, de hecho, $Y=-X$ proporciona un contraejemplo).

Answer 2

Matriz de covarianza C se calcula mediante la fórmula, $$ \mathbf{C} \triangleq E\{(\mathbf{x}-\bar{\mathbf{x}})(\mathbf{x}-\bar{\mathbf{x}})^T\}. $$ Para un vector real arbitrario u podemos escribir, $$ \begin{array}{rcl} \mathbf{u}^T\mathbf{C}\mathbf{u} & = & \mathbf{u}^TE\{(\mathbf{x}-\bar{\mathbf{x}})(\mathbf{x}-\bar{\mathbf{x}})^T\}\mathbf{u} \\ & = & E\{\mathbf{u}^T(\mathbf{x}-\bar{\mathbf{x}})(\mathbf{x}-\bar{\mathbf{x}})^T\mathbf{u}\} \\ & = & E\{s^2\} \\ & = & \sigma_s^2. \\ \end{array} $$ Donde $\sigma_s$ es la varianza de la variable aleatoria escalar de media cero $s$ y es un número real escalar cuyo valor es igual a, $$ \sigma_s = \mathbf{u}^T(\mathbf{x}-\bar{\mathbf{x}}) = (\mathbf{x}-\bar{\mathbf{x}})^T\mathbf{u}. $$ El cuadrado de cualquier número real es igual o mayor que cero. Es decir, $$ \sigma_s^2 \ge 0. $$ Así, $$ \mathbf{u}^T\mathbf{C}\mathbf{u} = \sigma_s^2 \ge 0. $$ Lo que implica que la matriz de covarianza de cualquier vector aleatorio real es siempre semidefinida.