Gradiente de $g(x) = f(Ax + b)$

Question

Necesito el gradiente y el hessiano de la función $g(x) = f(Ax + b)$ .

$f:\!R^m \rightarrow \!R$ ,

$x \in \!R^n$ ,

$b \in \!R^m$ ,

$A \in \!R^{mxn}$

No encuentro la expresión de la derivada: $g'(x) = f'(Ax + b)*(Ax + b)'$

Creo que el derivado $f'(Ax + b)$ es simplemente A*derivadas parciales. Pero no sé cómo proceder con los otros términos.

Conozco las expresiones para el gradiente y la arpillera, pero nunca lo he visto en forma de matriz.

Answer 1

Gradiente

Desde $g$ toma una entrada de $\mathbf{x} \in \Bbb{R}^n$ , $\mathbf{x} = (x_1,\dots,x_n)$ $$g: \Bbb{R}^n \rightarrow \Bbb{R} \\ g(\mathbf{x}) = g(x_1,...,x_n)$$ Y la derivada de $g$ en este caso se suele llamar $grad(g)$ y puede calcularse mediante derivadas parciales: $$grad(g(\mathbf{x})): \Bbb{R}^n \rightarrow \Bbb{R}, \\ grad(g(\mathbf{x})) = \left({\frac {\partial g(\mathbf{x})}{\partial x_{1}}},\dots ,{\frac {\partial g(\mathbf{x})}{\partial x_{n}}}\right)$$ Así que $$grad(g(\mathbf{x})) = grad(f(A\mathbf{x}+b)) = \\ = \left({\frac {\partial f(A\mathbf{x}+b)}{\partial x_{1}}},\dots ,{\frac {\partial f(A\mathbf{x}+b)}{\partial x_{n}}}\right) = \bigstar$$ Escribiré uno de estos términos: $${\frac {\partial f(A\mathbf{x}+b)}{\partial x_{i}}} \stackrel{(*)}{=} \left(\frac{\partial f}{\partial x_i}\right)(A \mathbf{x} + b) \cdot \frac{\partial (A \mathbf{x} + b)}{\partial x_1} \stackrel{(**)}{=} \\ \stackrel{(**)}{=} \left(\frac{\partial f}{\partial x_i}\right)(A \mathbf{x} + b) \cdot \begin{bmatrix} A_{1i} \\ A_{2i} \\ \vdots \\ A_{mi} \\ \end{bmatrix}$$

(Donde el icono del punto ( $\cdot$ ) significa multiplicar por términos y luego sumar).

(*) Esto tiene sentido, ya que $(A\mathbf{x} + b)$ es un foro que contiene $x_1, ..., x_m$ y sólo hay que conectarlos al $i$ derivada parcial de $f$ .

(**) Se puede comprobar que esto es cierto, basta con tomar una matriz simple, como $A = \begin{bmatrix} 2 & 1 \\ 1 & 3 \\ \end{bmatrix}$ y cualquier $b$ vector, como $b= \begin{bmatrix} 1 \\ 2 \\ \end{bmatrix}$ y ver que $f(A\mathbf{x} + b) = f(2x_1+x_2+1,x_1+3x_2+2)$ y de forma similar, por ejemplo $\frac{\partial f}{\partial x_1}(A\mathbf{x} + b) = \frac{\partial f}{\partial x_1}(2x_1+x_2+1,x_1+3x_2+2)$ .

$$\bigstar = \\ = \left(\left(\frac{\partial f}{\partial x_1}\right)(A \mathbf{x} + b) \cdot \begin{bmatrix} A_{11} \\ A_{21} \\ \vdots \\ A_{m1} \\ \end{bmatrix}, \dots, \left(\frac{\partial f}{\partial x_n}\right)(A \mathbf{x} + b) \cdot \begin{bmatrix} A_{1n} \\ A_{2n} \\ \vdots \\ A_{mn} \\ \end{bmatrix} \right) = \\ = \left( \frac{\partial f}{\partial x_1}(A \mathbf{x} + b),\dots,\frac{\partial f}{\partial x_n}(A \mathbf{x} + b)\right) \cdot A$$

Matriz hessiana

La matriz hessiana es la matriz de segundas derivadas, en general, si $f : \Bbb{R}^n \rightarrow \Bbb{R}$ Entonces:

Es necesario diferenciar el ( $\bigstar$ ) vector de nuevo, ahora n veces más para cada término. Con lo que te he mostrado, esto no debería ser demasiado difícil.

Answer 2

En primer lugar, observe que si podemos escribir $g(x+\Delta x)=g(x)+[h(x)]^T(\Delta x)+o(\Delta x)$ , donde $o(\Delta x)$ satisface $\lim_{\Delta x\to 0}\frac{o(\Delta x)}{\|\Delta x\|}=0$ entonces $\nabla g(x)=h(x)$ . Bien utilizando la diferenciabilidad de $f$ , $$\begin{align*} g(x+\Delta x) &= f(Ax+b+A\Delta x) \\ &= f(Ax+b) + [\nabla f(Ax+b)]^T(A\Delta x)+o(A\Delta x) \\ &= g(x)+[A^T\nabla f(Ax+b)]^T (\Delta x)+o(A\Delta x), \end{align*}$$ donde $o(A\Delta x)$ satisface $\lim_{A\Delta x\to 0}\frac{o(A\Delta x)}{\|A\Delta x\|}=0.$ Entonces $\lim_{\Delta x\to 0}\frac{o(A\Delta x)}{\|\Delta x\|}=0$ . Por lo tanto, $\nabla g(x)=A^T\nabla f(Ax+b)$ .

Para la segunda derivada, utilice el hecho de que $f$ satisface $$f(x+\Delta x)=f(x)+\nabla f(x)^T(\Delta x) + \frac{1}{2}(\Delta x)^T\nabla^2 f(Ax+b)(\Delta x) + o[(\|\Delta x\|)^2],$$ donde $o[(\|\Delta x\|)^2]$ significa $\lim_{\Delta x\to 0} \frac{o[(\|\Delta x\|)^2]}{\|\Delta x\|^2}=0$ . Bueno, tenemos $$\begin{align*} g(x+\Delta x) &= f(Ax+b+A\Delta x) \\ &= f(Ax+b)+[\nabla f(Ax+b)]^T \cdot (A\Delta x) \\ &\quad\quad+ \frac{1}{2}(A\Delta x)^T\nabla^2 f(Ax+b)(A\Delta x)+o[(\|A\Delta x\|)^2] \\ &= g(x)+[A^T\nabla f(Ax+b)]^T(\Delta x)\\ &\quad\quad+\frac{1}{2}(\Delta x)^T\left[A^T\nabla^2 f(Ax+b)A\right](\Delta x) + o[(\|A\Delta x\|)^2] \\ &= g(x)+ [\nabla g(x)]^T(\Delta x)+ \frac{1}{2}(\Delta x)^T\left[A^T\nabla^2 f(Ax+b)A\right](\Delta x) + o[(\|A\Delta x\|)^2]. \end{align*}$$ Ahora, asumiendo $\|A\|\ne 0$ , $$\lim_{\Delta x\to 0}\frac{o[(A\Delta x)^2]}{\|\Delta x\|^2}=\lim_{\Delta x\to 0}\frac{o[(\|A\Delta x\|)^2]}{\|A\Delta x\|^2}=0.$$ Por la unicidad de las expansiones de Taylor, tenemos $\nabla^2 g(x) = A^T\nabla^2 f(Ax+b)A$ .