¿Cómo diferenciar una ecuación matricial con un vector?

Question

Tengo una ecuación matricial que produce un escalar

$$f(M) = MAM^T - 2 \sum_i^{N} \log(M_i)$$

Dónde $M$ es un $1 \times N$ vector fila, y $A$ es un $N \times N$ matriz. Como tal, el resultado $f$ es un escalar.

¿Cómo se toma la derivada de $f$ en relación con $M$ ? He visto libro de cocina matrix definen las derivadas de las matrices con valores de índice específicos, pero no pude encontrar una definición de diferenciación con vectores.

Mi intuición es algo así como

$$\frac{\partial f}{\partial M} = 2(AM - M^{\circ -1})$$

con mi razonamiento de que los dos $M$ en el primer término, se obtiene $2AM$ una vez diferenciada, y el término logarítmico da como resultado $M$ donde cada elemento se eleva al $-1$ potencia ( $\frac{d \log x}{dx} = x^{-1}$ ).

De nuevo, no estoy seguro de haber hecho esto correctamente, y el hecho de que $f$ es un escalar lo hace un poco más confuso.

Answer 1

Utilizamos la linealidad de la diferenciación y consideramos al principio \begin {align*} g(M)=MAM^T \tag {1} \end {align*} con $M=(M_i)_{1\leq i\leq N}$ un $(1\times N)$ -matriz.

Obtenemos \begin {align*} dg(M)&=dMAM^T+MAdM^T \tag {2} \\ \mathrm {vec}(dg(M))&= \mathrm {vec}(dMAM^T)+ \mathrm {vec}(MAdM^T) \tag {3} \\ &= \left (MA^T \otimes I_1 \right ) \mathrm {vec}(dM)+ \left (I_1 \otimes MA \right ) \mathrm {vec} \left (dM^T \right ) \tag {4} \\ &=MA^T \mathrm {vec}(dM)+MA I_n \mathrm {vec}(dM) \tag {5} \\ &= \left (MA^T+MA \right ) \mathrm {vec}(dM) \\ \color {Azul}{ \frac { \partial g(M)}{dM}}&= \frac { \partial \mathrm {vec}(dg(M))}{ \mathrm {vec}(dM)}= \color {azul}{M \left (A^T+A \right )} \tag {6} \end {align*}

Comentario:

• En (2) empezamos por calcular el diferencial.

• En (3) [vectorizar](https://en.wikipedia.org/wiki/Vectorization(mathematics))_ la ecuación.

• En (4) utilizamos la relación con [Productos Kronecker](https://en.wikipedia.org/wiki/Vectorization(mathematics)#Compatibility_with_Kroneckerproducts) para que se tenga en cuenta $\mathrm{vec}(dM)$ resp. $\mathrm{vec}(dM^T)$ .

• En (5) hacemos una simplificación y utilizamos $\mathrm{vec}(dM^T)=C\mathrm{vec}(dM)$ observando el matriz de conmutación $C=I_n$ .

• En (6) tomamos el gradiente.

Podemos comprobar el resultado (6) fijando

\begin {align*} g(M)&=MAM^T \\ &= \left (M_i \right )_{1 \leq i \leq N} \left (A_{ij} \right )_{1 \leq i,j \leq N} \left (M_i \right )^T_{1 \leq i \leq N} \\ &= \left ( \sum_ {j=1}^N M_jA_{ij} \right )_{1 \leq i \leq N} \left (M_i \right )^T_{1 \leq i \leq N} \\ &= \sum_ {i=1}^N \sum_ {j=1}^N M_iM_jA_{ij} \end {align*}

Obtenemos

\begin {align*} \color {Azul}{ \frac { \partial g(M)}{ \partial M}}&= \frac { \partial }{ \partial\left (M_1, \ldots M_N \right )} \left ( \sum_ {i=1}^N \sum_ {j=1}^NM_iM_jA_{ij} \right ) \\ &= \left ( \frac { \partial }{ \partial M_k} \sum_ {i=1}^N \sum_ {j=1}^N M_iM_jA_{ij} \right )_{1 \leq k \leq N} \\ &= \left ( \sum_ {{j=1} \atop {j \ne k}}^N M_jA_{kj}+ \sum_ {{i=1} \atop {i \ne k}}^NM_iA_{ik}+2M_kA_{kk} \right )_{1 \leq k \leq N} \\ &\,\, \color {azul}{= \left ( \sum_ {j=1}^NM_j \left (A_{kj}+A_{jk} \right ) \right )_{1 \leq k \leq N}} \end {align*}

de acuerdo con (6).

Finalmente considerando $f$ obtenemos utilizando (6) \begin {align*} \frac { \partial f(M)}{ \partial M}&=M \left (A^T+A \right )-2 \frac { \partial }{ \partial (M_1, \ldots M_N)} \sum_ {i=1}^N \log (M_i) \\ &=M \left (A^T+A \right )-2 \left ( \frac { \partial }{ \partial M_k} \sum_ {i=1}^N \log (M_i) \right )_{1 \leq k \leq N} \\ &\,\, \color {azul}{=M \left (A^T+A \right )-2 \left ( \frac {1}{M_k} \right )_{1 \leq k \leq N}} \end {align*}

Answer 2

Puedes pensar en $f$ como una función $f:\mathbb R^n\to\mathbb R$ . Entonces, si $u\in\mathbb R^n$ , $$\frac{\partial f}{\partial u}=\nabla f\cdot u=\begin{pmatrix}\frac{\partial f}{\partial x_1}&\cdots&\frac{\partial f}{\partial x_n}\end{pmatrix}\begin{pmatrix}u_1\\\vdots\\u_n\end{pmatrix}=\sum_{k}\frac{\partial f}{\partial x_k}u_k.$$ En particular, defina $f:\mathbb R^{1\times n}\to\mathbb R$ por $$M\mapsto MAM^T-2\sum_k\log(M_k),$$ donde $A\in\mathbb R^{n\times n}$ . Entonces, si $N\in\mathbb R^{1\times n}$ , $$\frac{\partial f}{\partial N}(M)=(M(A+A^T)-2M^{\circ-1})\cdot N.$$

Tenga en cuenta que si $A$ es simétrica, $$\frac{\partial f}{\partial N}(M)=2(MA-M^{\circ-1})\cdot N.$$