Calcular analíticamente el gradiente de la norma espectral

Question

Dada una matriz $F \in \mathbb{C}^{m \times n}$ tal que a $m>n$ y otras matrices $A$ (matriz no simétrica) de tamaño $n \times n$ y norma espectral como:

$$\|A-F^*\operatorname{diag}(b)F\|_2 = \sigma_{\max}(A-F^*\operatorname{diag}(b)F) = \sqrt{\lambda_{\max} \left( (A-F^*\operatorname{diag}(b)F)^* (A-F^*\operatorname{diag}(b)F \right)),}$$

¿Cómo puedo calcular analíticamente $\nabla_b \|A-F^*\operatorname{diag}(b)F\|_2$ donde $b \in \mathbb{C}^{m \times 1}$ es un vector y { $*$ } ¿es un signo para la transposición conjugada?

Necesito gradiente porque quiero encontrar $b$ minimizando $\|A-F^*\operatorname{diag}(b)F\|_2$ ya que me gustaría encontrar el óptimo utilizando el descenso por gradiente. ¿Es posible?

Answer 1

Utilicemos $\big\{F^T,\,F^C,\,F^H=(F^C)^T\big\}\,$ para denotar la $\big\{$ Transposición, Complejo, Hermitiano $\big\}$ conjugados de $F$ respectivamente.

Utilicemos también la notación producto de Frobenius (:) en lugar de la función Traza, es decir $$A:B = {\rm Tr}(A^TB)$$ [ NB: El uso de $A^T$ (en lugar de $A^H$ ) en el lado derecho es deliberada].

Definir las variables $$\eqalign{ B &= {\rm Diag}(b) \cr X &= F^HBF-A \cr }$$ Dada la SVD de $X$ $$\eqalign{ X &= USV^H \cr U &= \big[\,u_1\,u_2 \ldots u_n\,\big],\,&u_k&\in{\mathbb C}^{m\times 1} \cr S &= {\rm Diag}(\sigma_k),&S&\in{\mathbb R}^{n\times n} \cr V &= \big[\,v_1\,v_2 \ldots v_n\,\big],&v_k&\in{\mathbb C}^{n\times 1} \cr }$$ donde el $\sigma_k$ se ordenan de forma que $\,\,\sigma_1>\sigma_2\ge\ldots\ge\sigma_n\ge 0$

El gradiente de la norma espectral $\phi = \|X\|_2$ puede escribirse como $$G = \frac{\partial\phi}{\partial X} = (u_1v_1^H)^C = u_1^Cv_1^T$$ Para hallar el gradiente respecto al vector $b$ escribe la diferencial y realiza un cambio de variables. $$\eqalign{ d\phi &= G:dX \cr &= G:F^H\,dB\,F \cr &= F^C GF^T:dB \cr &= F^C GF^T:{\rm Diag}(db) \cr &= {\rm diag}\big(F^CGF^T\big):db \cr \frac{\partial\phi}{\partial b} &= {\rm diag}\big(F^CGF^T\big) \cr &= {\rm diag}\big((Fu_1)^C(Fv_1)^T\big) \cr }$$