Encuentre el gradiente y la arpillera de$f(Ax+b)$ para el valor real$f$ y la matriz$A$

Question

Vamos $A\in\mathbb{R}^{m\times n}$, $b\in \mathbb{R}^m$. Para $x\in\mathbb{R}^n$, definimos $q(x) = f(Ax+b)$ con $f:\mathbb{R}^m\to\mathbb{R}$. Encontrar la pendiente y de la arpillera de la la función $q$.

Esta pregunta es un poco extraño. Si yo fuera a tomar el jacobiano, acabo de componer el jacobiano de la externa de la función con el jacobiano del interior de la función. Ahora, ¿cómo puedo tomar la derivada parcial de $q$?

$$\frac{\partial f(Ax+b)}{\partial x_1} = \lim_{h\to 0}\frac{f(A(x_1+h,x_2,\cdots,x_n) + b) - f(Ax+b)}{h}$$

Yo no creo que esto ayuda en la forma de pensar de esta manera. Yo no tengo ningún medio de encontrar este límite sin usar la regla de la cadena. Tal vez yo pueda aplicar la regla de la cadena a $q$, pero ¿cómo?

ACTUALIZACIÓN:

Por la sugerencia dada a continuación,

$$q(x_1,\dots, x_n)=f(f_1,\cdots,f_n) = f\left(\sum_{i=1}^n a_{1i}x_i+b_1,\dots,\sum_{i=1}^n a_{mi}x_i+b_m\right)$$

Creo que la multivariable regla de la cadena se puede aplicar:

$$\frac{\partial f}{\partial x_1} = \frac{\partial f}{\partial f_1}\frac{\partial f_1}{\partial x_1} + \cdots + \frac{\partial f}{\partial f_n}\frac{\partial f_n}{\partial x_1}$$

Y ver que

$$\frac{\partial f_1}{\partial x_1} = a_{11}\\\cdots\\\frac{\partial f_n}{\partial x_1} = a_{m1}$$

Así, obtenemos

$$\frac{\partial f}{\partial x_1} = \frac{\partial f}{\partial f_1}a_{11} + \cdots + \frac{\partial f}{\partial f_n}a_{m1}$$

En general:

$$\frac{\partial f}{\partial x_j} = \frac{\partial f}{\partial f_1}a_{1j} + \cdots + \frac{\partial f}{\partial f_n}a_{mj}$$

Creo que todavía hay un montón de trabajo que hacer.

Answer 1

Información de fondo: si$F:\mathbb R^n \to \mathbb R^m$ es diferenciable en$x$, entonces$F'(x)$ es una matriz$m \times n$.

---

Dejar $g(x) = f(Ax + b)$. Por la regla de la cadena, $$ g '(x) = f' (Ax + b) A. $$ Si usamos la convención de que el gradiente es un vector de columna, entonces $$ \ nabla g (x) = g '(x) ^ T = A ^ T \ nabla f (Ax + b). $$ La arpillera de$g$ es el derivado de la función$x \mapsto \nabla g(x)$. Por la regla de la cadena, $$ \ nabla ^ 2 g (x) = A ^ T \ nabla ^ 2 f (Ax + b) A. $$

Answer 2

Insinuación

Tenemos que

PS

Asi tenemos

$$q(x_1,\dots, x_n)=f\left(\sum_{i=1}^n a_{1i}x_i+b_1,\dots,\sum_{i=1}^n a_{mi}x_i+b_m\right). $ $ Eso es

PS

Editar para obtener el Hessian

\begin{align} \dfrac{\partial^2 q}{\partial x_j\partial x_i} &=\sum_{k=1}^m a_{ki}\dfrac{\partial}{\partial x_j}\left( \dfrac{\partial f}{\partial u_k}\right) \\&= \sum_{k=1}^m a_{ki}\sum_{l=1}^ma_{lj}\dfrac{\partial^2 f}{\partial u_l\partial u_k} \\&= \sum_{k,l=1}^ma_{ki}a_{lj} \dfrac{\partial^2 f}{\partial u_l\partial u_k}. \end{align}

Hemos utilizado eso

PS

Por lo tanto, tenemos que

PS

Answer 3

Deje $\phi = x \mapsto Ax + b$ tal que $q = f \circ \phi$.
Denotar por $J_g$ la matriz Jacobiana de la función $g$.

La aplicación de la regla de la cadena conduce a $J_q (x) = J_f(\phi(x)) J_{\phi}(x) $

Desde $J_{\phi}(x) = A$, e $\nabla g = (J_g)^T$ para cualquier función escalar $g$, esto se reduce a $$(\nabla q (x))^T = (\nabla f (Ax+b) )^TA.$$

Finalmente, nos encontramos con: $$\nabla q (x) = A^T \nabla f (Ax+b).$$

Si desea más degradado específicos de la fórmula, puede directamente del estado que $\nabla q (x)= J_{\phi}(x)^T \nabla f (\phi(x))$.