Definición de derivación matricial

Question

Estoy intentando calcular una derivación matemática, pero es evidente que me estoy perdiendo algo.

Preciso que sólo he aprendido la definición "formal" de derivación en el caso 1D, y no estoy familiarizado con los espacios de Banach ni con este grado de formalismo.

Quiero calcular $\frac{\partial b^T A b}{\partial b}$ donde A es $(k,k)$ y b es $(k,1)$ .

Esto es lo que he probado $$\begin{align*} f(b+h) &= (b+h)^T A (b+h)\\ &= b^T A b + h^T A b + b^T A h + h^T A h \\ &= f(b) + (b^T A^T h )^T + b^T A h + o(|| h ||) \\ &= f(b) + b^T A^T h + b^T A h + o(|| h ||) \text{ 1D : I take the transpose} \\ &= f(b) + (b^T A^T + b^T A) h + o(|| h||) \\ &= f(b) + b^T (A^T + A) h + o(|| h ||) \\ f(b+h)-f(b) &= b^T (A^T + A) h + o(|| h ||) \\ \end{align*}$$ Utilizaré una impropia (división por $h$ ), por analogía con el caso 1D $$\begin{align*} \frac{f(b+h)-f(b) }{h} &= b^T (A^T + A) + o(|| 1 ||) \\ \frac{\partial f(b)}{\partial b} &= b^T (A^T + A) \end{align*}$$

Pero he encontrado en varios cursos (por ejemplo Aquí y Aquí ) que se supone que debo encontrar $(A+A^T)b$ .

Así que supongo que mi idea no es "demasiado mala", pero me falta un elemento conceptual (seguramente relacionado con mi derivación incorrecta) porque obtengo la dimensión equivocada.

Así que

• ¿Puede alguien corregirme?
• ¿Puede alguien explicarme la intuición de por qué mi dimensión no es la correcta?

Gracias

Answer 1

Consideremos el caso en que $b$ es una matriz.

Utilice la Producto interior de Frobenius (:) para escribir la función escalar como

$$\eqalign { f &= b:Ab \cr }$$ y tomar su diferencial

$$\eqalign { df &= db:Ab + b:A\,db \cr &= Ab:db + A^Tb:db \cr &= (A+A^T)\,b:db \cr\cr }$$ Desde $df = \Big(\frac{\partial f}{\partial b}:db\Big),\,$ el gradiente es igual a $$\eqalign{ \frac{\partial f}{\partial b} &= (A+A^T)b \cr\cr }$$ Este resultado es válido cuando $b$ es cualquier $(k\times n)$ matriz.
En particular, es válida cuando $(n=1)$ es decir, cuando $b$ es un vector.

Answer 2

Convengamos en que los vectores se escriben como columnas.

Desde $F(b)=b^TAb$ es una función de $\mathbb R^k$ a $\mathbb R$ la derivada (si existe) será una transformación lineal $T\colon\mathbb R^k\to L(\mathbb R^k,\mathbb R)$ (para cada $b\in\mathbb R^k$ la imagen $T(b)$ es una transformación lineal de $\mathbb R^k$ a $\mathbb R$ ). El mapa $T$ se define exigiendo que $$\lim_{h\to0}\frac{|F(b+h)-F(b)-T(a)h|}{\|h\|}=0$$ (y si existe es único). Así, en su caso obtenemos $$T(b)h=b^T(A^T+A)h$$ y solemos escribir simplemente $$T(b)=b^T(A^T+A),$$ pero aún así debemos interpretarla como una transformación lineal. Si escribimos $T(b)=(A^T+A)b$ estaríamos pensando en los vectores como filas y entonces escribiríamos $T(b)h=(A^T+A)b\cdot h$ .