Gradiente de una función de optimización - Norma de Frobenius y producto de Hadamard

Question

Estoy tratando de resolver un problema para mi clase de Optimización, en el que se pide calcular el gradiente de la siguiente función:

$$g(P)=\frac{1}{2}||1_K\circ(R-Q^0P)||_F^2+\frac{\rho}{2}||Q^0||_F^2+\frac{\rho}{2}||P||_F^2$$

donde $\rho, R, Q^0$ y $1_K$ son constantes dadas en este caso.

Pero estoy totalmente atascado sobre todo en el primer término (el que icluye la norma de Frobenius y el conducto de Hadamard).

He intentado utilizar la definición de la norma de Frobenius $||A||_F=\sqrt{Tr(AA^H)}$ pero no sé cómo manejarlo en esta situación.

Muchas gracias.

Answer 1

Vamos a renombrar las variables utilizando letras minúsculas para los vectores y mayúsculas para las matrices, y omitiendo todos los subíndices y superíndices. $$\eqalign{ p=P,\quad Q=Q^0,\quad r=R,\quad u={\tt1}_K }$$ Definamos también los vectores auxiliares $$\eqalign{ s &= Qp-r \\ w &= u\circ s \\ }$$ También necesitaremos el producto trace/Frobenius $$\eqalign{ A:B &= {\rm Tr}(A^TB) = B:A \\ A:A &= \big\|A\big\|^2_F \\ }$$ Convenientemente, el producto de Frobenius conmuta con el producto de Hadamard, es decir $$A:(B\circ C) = (A\circ B):C$$ Utiliza lo anterior para reescribir la función objetivo, y luego calcula el gradiente como sigue. $$\eqalign{ g &= \tfrac 12(w:w) + \tfrac \rho2(p:p) + \tfrac \rho2(Q:Q) \\ \\ dg &= (w:dw) + \rho(p:dp) + 0 \\ &= w:(u\circ ds) + \rho(p:dp) \\ &= (u\circ w):ds + \rho(p:dp) \\ &= (u\circ w):Q\,dp + \rho(p:dp) \\ &= Q^T(u\circ w):dp + \rho(p:dp) \\ &= \Big(Q^T(u\circ w)+ \rho p\Big):dp \\ &= \Big(\rho p + Q^T\big(u\circ u\circ(Qp-r)\big)\Big):dp \\ \\ \frac{\partial g}{\partial p} &= \rho p + Q^T\big(u\circ u\circ(Qp-r)\big) \\ }$$