Derivada de la forma cuadrática

Question

Para la forma cuadrática $X^TAX; X\in\mathbb{R}^n, A\in\mathbb{R}^{n \times n}$ (que se simplifica en $\Sigma_{i=0}^n\Sigma_{j=0}^nA_{ij}x_ix_j$ ), he intentado tomar la derivada wrt. X ( $\Delta_X X^TAX$ ) y terminó con lo siguiente:

El $k^{th}$ elemento de la derivada representado como

$\Delta_{X_k}X^TAX=[\Sigma_{i=1}^n(A_{ik}x_k+A_{ki})x_i] + A_{kk}x_k(1-x_k)$

¿Se ve bien este resultado? ¿Existe una forma alternativa?

Estoy tratando de llegar a la $\mu_0$ del Análisis Discriminante Gaussiano mediante la maximización del logaritmo de la probabilidad y necesito tomar la derivada de una forma cuadrática. O bien el resultado que mencioné anteriormente es incorrecto (no debería serlo porque repasé mi aritmética varias veces) o la forma a la que llegué anteriormente no es la terriblemente útil para mi problema (porque soy incapaz de proceder).

Puedo dar más detalles sobre el problema o los pasos que puse para llegar al resultado anterior, pero no quería desordenar para empezar. Por favor, hágamelo saber si son necesarios más detalles.

También se agradece cualquier enlace a material relacionado.

Answer 1

Dejemos que $Q(x) = x^T A x$ . A continuación, ampliando $Q(x+h)-Q(x)$ y eliminando el término de orden superior, obtenemos $DQ(x)(h) = x^TAh+h^TAx = x^TAh+x^TA^Th = x^T(A+A^T)h$ o más típicamente, $\frac{\partial Q(x)}{\partial x} = x^T(A+A^T)$ .

Obsérvese que la derivada con respecto a a columna vector es un fila ¡Vector!

Answer 2

También puedes tomar la derivada de la suma escalar. \begin{equation} \begin{aligned} {\bf x^TAx} = \sum\limits_{j=1}^{n}x_j\sum\limits_{i=1}^{n}x_iA_{ji} \end{aligned} \end{equation} La derivada con respecto al $k$ -ésima variable es entonces(regla del producto): \begin{equation} \begin{aligned} \frac{d {\bf x^TAx}}{d x_k} & = \sum\limits_{j=1}^{n}\frac{dx_j}{dx_k}\sum\limits_{i=1}^{n}x_iA_{ji} + \sum\limits_{j=1}^{n}x_j\sum\limits_{i=1}^{n} \frac{dx_i}{dx_k}A_{ji} \\ & = \sum\limits_{i=1}^{n}x_iA_{ki} + \sum\limits_{j=1}^{n}x_jA_{jk} \end{aligned} \end{equation}

Si entonces se ordenan estas derivadas en un vector columna, se obtiene: \begin{equation} \begin{aligned} \begin{bmatrix} \sum\limits_{i=1}^{n}x_iA_{1i} + \sum\limits_{j=1}^{n}x_jA_{j1} \\ \sum\limits_{i=1}^{n}x_iA_{2i} + \sum\limits_{j=1}^{n}x_jA_{j2} \\ \vdots \\ \sum\limits_{i=1}^{n}x_iA_{ni} + \sum\limits_{j=1}^{n}x_jA_{jn} \\ \end{bmatrix} = {\bf Ax} + ({\bf x}^T{\bf A})^T = ({\bf A} + {\bf A}^T) + ({\bf x}^T{\bf A})^T = ({\bf A} + {\bf A}^T){\bf x} \fin {alineado} \Fin de la ecuación.

o si eliges organizarlos en una fila, entonces obtienes: \begin{equation} \begin{aligned} \begin{bmatrix} \sum\limits_{i=1}^{n}x_iA_{1i} + \sum\limits_{j=1}^{n}x_jA_{j1} & \sum\limits_{i=1}^{n}x_iA_{2i} + \sum\limits_{j=1}^{n}x_jA_{j2} & \dots & \sum\limits_{i=1}^{n}x_iA_{ni} + \sum\limits_{j=1}^{n}x_jA_{jn} \end{bmatrix} \N - ({\bf Ax} + ({\bf x}^T{\bf A})^T = (({\bf A} + {\bf A}^T)} + ({\bf x}^T{\bf A})^T)^T = (({\bf A} + {\bf A}^T){\bf x})^T = {\bf x}^T({\bf A} + {\bf A}^T) \Fin \Fin de la ecuación.

---

Answer 3

Es más fácil utilizar la notación de índices con la regla de Einstein (suma repetida en índices ficticios). Es decir, podemos escribir la $i$ El componente de $Ax$ como $a_{ij} x_j$ y $x^T A x=x_i a_{ij} x_j = a_{ij} x_i x_j$ . A continuación, tome la derivada de $f(\bf{x})$ con respecto a un componente $x_k$ . Encontramos \begin{eqnarray} \partial f/\partial x_k = f,_k = a_{ij} x_{i,k} x_j + a_{ij} x_i x_{j,k} = a_{ij} \delta_{ik} x_j + a_{ij} x_i \delta_{jk} = a_{kj} x_j + a_{ik} x_i, \end{eqnarray} que en notación matricial es $k$ El componente de ${\bf{x}}^T A + {\bf{x}}^T A^T$ .

Answer 4

Otro enfoque que utiliza la notación del producto de Frobenius.

Para un vector columna $x \in \mathbb{R}^n$ y una matriz $A \in \mathbb{R}^{n \times n}$ podemos escribir:

$$ x^TAx = Tr(x^TAx) = x:Ax$$

Entonces tomamos la diferencial y la derivada como

\begin{align} d(x:Ax) & = dx:Ax + x:Adx\\ & = Ax:dx + A^Tx:dx\\ & = (Ax + A^Tx):dx\\ \frac{\partial (x^TAx)}{\partial x} &= (Ax + A^Tx) = (A + A^T)x \end{align}

Answer 5

Acabo de aprender un nuevo truco cuando tu variable independiente está en más de dos lugares dentro de tu fórmula: introduce un nuevo parámetro (falso) que luego desaparecerá:

$$\frac{\partial}{\partial x} y^TAx = \frac{\partial y}{\partial x}[Ax]^T+y^TA $$ La transposición fue para convertir el vector en un vector fila. ¡No hay nada profundo ahí!

Ahora, si $y=x$ entonces $$ \frac{d}{dx} x^TAx = x^TA^T+x^TA = x^T(A+A^T) \ . $$