¿Cuál es el Gradiente y el Hessiano de esta función?
$$ f(X)=\langle X,D\rangle-c \cdot \sqrt{\langle X,E\rangle}$$ donde $X,D,E$ son todas matrices semidefinidas.
¿Dónde se hace cero el gradiente?
Respuesta
¿Demasiados anuncios?
El degradado es sencillo, al menos si tienes el libro de cocina matrix . $$\nabla f(X) = D - \frac{c}{2}\langle X, E\rangle^{-1/2} E$$ Suponiendo que $D\neq 0$ y $E\neq 0$ es evidente que $\nabla f(X)=0$ sólo es posible si $D=\alpha E$ para algún escalar $\alpha>0$ . En ese caso, es cero siempre que $(c/2)\langle X,E\rangle^{-1/2}=\alpha$ .
El Hessian tampoco es difícil en concepto, el reto es escribirlo. El hessiano de una función vectorial $g:\mathbb{R}^n\rightarrow\mathbb{R}$ puede representarse mediante una matriz simétrica. Pero cuando se tiene una función matricial $f:\mathbb{R}^{m\times n}\rightarrow\mathbb{R}$ ya no se puede representar mediante una matriz. En su lugar, el hessiano es un mapeo lineal simétrico. Lo mejor que puedes hacer, en mi opinión, es mirar la derivada direccional. Si $H$ es la dirección de búsqueda, entonces $$D^2f(X)[H,H] = \langle \nabla^2 f(X)[H],H\rangle = + \frac{c}{4} \langle X, E\rangle^{-3/2} \langle E, H \rangle^2.$$ Otra forma de verlo es que $\mathbb{R}^{m\times n}$ es isomorfo a $\mathbb{R}^{mn}$ mediante la función de vectorización $\textbf{vec}$ . Si define $$g:\mathbb{R}^{mn}\rightarrow\mathbb{R}, \quad g(x) \triangleq f({\textbf{vec}}^{-1}(x))$$ entonces $$\nabla g(x) = d - \frac{c}{2}(e^Tx)^{-1/2} e, \quad \nabla^2 g(x) = +\frac{c}{4}(e^Tx)^{-3/2} ee^T$$ donde $d\triangleq\textbf{vec}(D)$ y $e\triangleq\textbf{vec}(E)$ .
EDIT: La propiedad de que las matrices sean semidefinidas es en gran medida irrelevante. Sin embargo, garantiza que $\langle X, E \rangle \geq 0$ por lo que la función está bien definida para todos los valores deseados de $X$ . Obviamente, la función no es diferenciable cuando $\langle X, E \rangle = 0$ .
