Prueba de la derivada de una forma cuadrática

Question

Estaba leyendo este pdf y en la página 6 la proposición 8 dice:

No entiendo muy bien los pasos que traen de

$$\alpha = \sum_{j=1}^n\sum_{i=1}^n a_{ij} x_{i} x_{j}$$

a su derivado

$$\frac{\partial \alpha}{\partial \bf{x}} = \sum_{j=1}^n a_{kj} x_J + \sum_{i=1}^n a_{ik}x_i$$

y luego el resultado final:

$$\frac{\partial \alpha}{\partial \bf{x}} = \bf{x}^T A^T + \bf{x}^T A$$

¿Puede alguien ayudarme?

Answer 1

Otra forma de abordar esta fórmula es utilizar la definición de las derivadas en el cálculo multivariable. La función es $\alpha: \mathbb R^n \to \mathbb R$ y la matriz de Jocabian $D\alpha = \frac{\partial \alpha}{\partial x}$ es, por tanto, un $n \times n$ y por definición satisface la siguiente ecuación \begin{align*} \lim_{\|h\| \to 0} \frac{\alpha(x+h) - \alpha(x) - D\alpha(h)} {h} = 0. \end{align*} Pero tenga en cuenta $\alpha(x+h) - \alpha(h) = (x+h)^T A (x+h)- x^T A x = h^T A x + x^T A h$ . Desde $h^T A x = x^T A^T h$ tenemos $\alpha(x+h) - \alpha(h) = x^T(A^T + A)h$ . De ahí se desprende $\frac{\partial \alpha}{\partial x} = x^T(A^T+A)$ .

Answer 2

Considere un genérico $1 \leq k \leq n$ . Podemos escribir lo siguiente: $$\alpha = \sum_{j=1}^n\sum_{i=1}^n a_{ij} x_{i} x_{j} = \sum_{j=1}^n\left(\sum_{i=1, i \neq k}^n a_{ij} x_{i} x_{j} + a_{kj}x_{k}x_{j}\right) = \\ = \sum_{i=1, i \neq k}^n \sum_{j=1}^na_{ij} x_{i} x_{j} + \sum_{j=1}^na_{kj}x_{k}x_{j} =\\ = \sum_{i=1, i \neq k}^n \left(\sum_{j=1, j\neq k}^na_{ij} x_{i} x_{j} + a_{ik}x_i x_k\right) + \sum_{j=1, j \neq k}^na_{kj}x_{k}x_{j} + a_{kk}x_{k}^2 =\\ = \sum_{i=1, i \neq k}^n \sum_{j=1, j\neq k}^na_{ij} x_{i} x_{j} + \sum_{i=1, i\neq k}^na_{ik}x_i x_k + \sum_{j=1, j \neq k}^na_{kj}x_{k}x_{j} + a_{kk}x_{k}^2.\\ $$

En concreto, hemos separado todas las contribuciones en función de $x_k$ y los que no dependen de $x_k$ . Ahora está claro que: $$\frac{\partial \alpha}{\partial x_k} = \sum_{i=1, i\neq k}^na_{ik}x_i + \sum_{j=1, j \neq k}^na_{kj}x_{j} + 2a_{kk}x_{k}.$$

Podemos seguir trabajando en la última expresión:

$$\frac{\partial \alpha}{\partial x_k} = \left[\sum_{i=1}^na_{ik}x_i - a_{kk}x_k\right] + \left[\sum_{j=1}^na_{kj}x_{j} - a_{kk}x_k\right] + 2a_{kk}x_{k} = \sum_{i=1}^na_{ik}x_i + \sum_{j=1}^na_{kj}x_{j}.$$

Ahora, podemos intentar obtener una representación vectorial. Vamos a plantear:

1. $f_k = \displaystyle\sum_{i=1}^na_{ik}x_i,$
2. $g_k = \displaystyle\sum_{j=1}^na_{kj}x_{j},$
3. ${\bf f} = [f_1, f_2, \ldots, f_n],$
4. ${\bf g} = [g_1, g_2, \ldots, g_n],$

donde ${\bf f}$ y ${\bf g}$ son vectores de fila.

Está claro que:

1. ${\bf f} = {\bf x}^\top {\bf A},$
2. ${\bf g} = {\bf x}^\top {\bf A}^\top,$

y por lo tanto:

$$\frac{\partial \alpha}{\partial {\bf x}} = {\bf x}^\top {\bf A} + {\bf x}^\top {\bf A}^\top.$$

Answer 3

Enfoque alternativo (una vez que se acostumbre a estas notaciones, entonces será más fácil)

Antes de empezar a derivar el gradiente, algunos datos:

• Relación de trazos y productos de Frobenius $$\left\langle A, B C\right\rangle={\rm tr}(A^TBC) := A : B C$$
• Propiedades cíclicas del producto Trace/Frobenius \begin{align} A : B C &= BC : A \\ &= A^T : (BC)^T \\ &= B^T A : C \\ &= {\text{etc.}} \cr \end{align}

Dejemos que $f := x^T A x = {\rm tr}\left(x^T A x \right) = x:Ax$ . (El rastreo de un escalar devolverá el mismo escalar).

Ahora, podemos obtener primero la diferencial y luego el gradiente. \begin{align} df = d \ {\rm tr }\left ( x^T A x \right) &= d\left(x : A x \right) \\ &= \left(dx : Ax\right) + \left(x : A \ dx\right) \\ &= \left(Ax : dx\right) + \left(A^Tx : dx\right) \\ &= \left( Ax + A^T x \right) : dx\\ &= \left( Ax + A^T x \right)^T : dx^T\\ &= \left( x^T A^T + x^T A \right) : dx^T\\ \end{align}

Así, el gradiente es \begin{align} \frac{\partial}{\partial x^T} \left( x^T Ax \right)= x^T A^T + x^T A. \end{align}