Derivada de una función de coste cuadrática con respecto a un vector

Question

Soy nuevo en el cálculo matricial y tengo una pregunta sobre cómo encontrar la derivada de la función de coste definida a continuación con respecto a $\theta$ que en realidad es el término exponencial de una distribución multinomial.

$$Q = (x-H\theta)^T C^{-1} (x-H\theta)\\ = (x^T -\theta^TH^T) C^{-1} (x-H\theta) \\ = x^T C^{-1} x - x^T C^{-1} H \theta - \theta^T H^T C^{-1} x + \theta^T H^T C^{-1} H \theta$$

¿Cómo obtengo la derivada del tercer término ya que $\theta$ se transpone. El 4º término también ya que hay 2 $\theta$ 's, transpuesto y no. Ayuda. Gracias.

Answer 1

En lugar de expandir la expresión inmediatamente, me parece más sencillo definir nuevas variables (para reducir el "desorden" en la función), diferenciar, y luego sustituir las variables originales en los pasos finales.

Dejemos que
$$\eqalign{ B &= C^{-1} \cr y &= H\theta-x \cr }$$ Escribe la función en términos de estas variables y toma la diferencial $$\eqalign{ Q &= y^TBy \cr dQ &= dy^TBy + y^TB\,dy \cr &= y^T(B^T + B)\,dy \cr &= y^T(B^T + B)H\,d\theta \cr }$$ Desde $dQ=(\frac{\partial Q}{\partial\theta}:d\theta),\,$ el gradiente debe ser $$\eqalign{ \frac{\partial Q}{\partial\theta} &= y^T(B^T + B)H \cr &= (H\theta-x)^T(C^{-T} + C^{-1})\,H \cr }$$

Answer 2

Conseguí resolverlo a través de la regla del producto con la propiedad que vi ici en la página 4, que básicamente afirma que $ D[ f(x)^Tg(x)] = g(x)^Tf^{'}(x) + f(x)^Tg^{'}(x)$ . He verificado mi respuesta con la solución publicada por lynn.

Answer 3

Escribe

$$\begin{array}{rl} Q (x,\theta) &= (x - H \theta)^T C^{-1} (x - H \theta)\\ &= \begin{bmatrix} x\\ \theta\end{bmatrix}^T \begin{bmatrix} I\\ -H^T\end{bmatrix} C^{-1} \begin{bmatrix} I\\ -H^T\end{bmatrix}^T \begin{bmatrix} x\\ \theta\end{bmatrix}\\ &= \begin{bmatrix} x\\ \theta\end{bmatrix}^T \begin{bmatrix} C^{-1} & - C^{-1} H\\ -H^T C^{-1} & H^T C^{-1} H\end{bmatrix} \begin{bmatrix} x\\ \theta\end{bmatrix}\end{array}$$

Dado que la derivada de $y^T A y$ con respecto a $y$ es $(A + A^T) y$ la derivada de $Q$ con respecto a $(x,\theta)$ , suponiendo que $C^{-1}$ es simétrica, es la siguiente

$$2 \begin{bmatrix} C^{-1} & - C^{-1} H\\ -H^T C^{-1} & H^T C^{-1} H\end{bmatrix} \begin{bmatrix} x\\ \theta\end{bmatrix}$$

Así, la derivada de $Q$ con respecto a $\theta$ solo es

$$2 H^T C^{-1} (H \theta - x)$$