Mostrando $trace\left(\sum_{i=1}^j u_i u_i^T D\right) \leq \sum_{i=1}^j \lambda_i$ , donde $u_i$ ortonormal & $D$ una matriz diag. c/ $\lambda_i$ ¿entradas?

Question

Supongamos que $\{u_i:1 \leq i \leq j\}$ son un conjunto de vectores ortonormales, y $D$ es una marix diagonal tal que $D = diag(\lambda_1, \ldots, \lambda_p)$ , dispuestas de tal manera que $\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p >0$ . Entonces, me gustaría mostrar eso:

$$ trace\left(\sum_{i=1}^j u_i u_i^T D\right) \leq \sum_{i=1}^j \lambda_i $$

Mi enfoque es hacer lo siguiente:

\begin{align*} trace\left(\sum_{i=1}^j u_i u_i^T D\right) &= \sum_{i=1}^j \sum_{l=1}^p u_{il}^2 \lambda_l \\ &= \sum_{l=1}^p u_{1l}^2 \lambda_l + \sum_{l=1}^p u_{2l}^2 \lambda_l + \ldots + \sum_{l=1}^p u_{jl}^2 \lambda_l \\ & \leq \lambda_1 + \ldots + \lambda_j \end{align*}

Sin embargo, no puedo entender cómo sigue el último paso. Entiendo que lo tenemos:

$$ \sum_{l=1}^p u_{1l}^2 = \sum_{l=1}^p u_{2l}^2 = \ldots = \sum_{l=1}^p u_{jl}^2 = 1 $$

Pero no veo cómo esto nos permite obtener la última desigualdad. En particular, parece que sólo estamos concentrando toda la ponderación a $u_{11}^2 = u_{22}^2 = \ldots = u_{jj}^2 = 1$ para cada término.

Finalmente Si la última desigualdad se mantiene, ¿se mantendría para cualquier reordenación arbitraria de los índices?

Answer 1

Dejemos que $x_i = u_{1,i}^2 + u_{2,i}^2 + \cdots + u_{j, i}^2$ para $1 \leq i \leq p$ . Exactamente queremos encontrar el valor máximo de $$ x_1\lambda_1 + x_2\lambda_2 + \cdots + x_p\lambda_p \tag{$ \N - Bigstar $} $$ Hay al menos dos restricciones para $x_i$ s, a saber, $$ x_1 + x_2 + \cdots + x_p = j \tag{$ \N - Traje de espadachín $} $$ y $$ 0 \leq x_i \leq 1 \text{ for } 1 \leq i \leq p \tag{$ \N - Clubsuit $} $$ Con solo restricciones $(\spadesuit)$ y $(\clubsuit)$ junto con el hecho de que $\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p > 0$ , $(\bigstar)$ alcanza su valor máximo cuando $x_1 = x_2 = \cdots = x_j = 1$ y $x_{j+1} = x_{j+2} = \cdots = x_p = 0$ . Es decir, el valor máximo de $(\bigstar)$ en $(\spadesuit)$ y $(\clubsuit)$ es $\lambda_1 + \lambda_2 + \cdots + \lambda_j$ . Dado que obtenemos este valor bajo restricciones más débiles que las del problema original, el valor $\lambda_1 + \lambda_2 + \cdots + \lambda_j$ es también una cota superior para el problema original.

Answer 2

He aquí un enfoque rápido: dejar que $U$ sea la matriz cuyas columnas son $u_1,\dots,u_j$ . En particular, tenemos $$ \sum_{i=1}^j u_iu_i^TD = (UU^TD) $$ Y observamos que $UU^T$ es un $p \times p$ matriz de proyección ortogonal, es decir que es ortogonalmente similar a $$ \pmatrix{I_j & 0\\0& 0} $$ Ambos $UU^T$ y $D$ son definidos positivos, por lo que sus valores propios son también sus valores singulares. En particular, $\sigma_i(D) = \lambda_i(D)$ , $\sigma_i(UU^T) = 1$ para $i \leq j$ y $\sigma_i(UU^T) = 0$ para $i > j$ . Aplicando la desigualdad matricial de Von Neumann, tenemos $$ trace\left(\sum_{i=1}^j u_i u_i^T D\right) = trace([UU^T]D) \leq \sum_{i=1}^p \sigma_i(UU^T)\sigma_i(D) = \sum_{i=1}^j \lambda_i $$