Gradiente y hessiano de $x x^T$ por ejemplo $x$ , donde $x \in \mathbb{R}^{n \times 1}$ ,?

Question

Pregunta: ¿Podemos encontrar el gradiente y el hessiano de $x x^T$ por ejemplo $x$ , donde $x \in \mathbb{R}^{n \times 1}$ ?

EDITAR: Si se puede, ¿se puede saber cómo calcular eso? Gracias.

Answer 1

Gradiente $$\frac{\partial \mathbf{Y}}{\partial x_i} = \begin{bmatrix} \frac{\partial y_{11}}{\partial x_i} & \frac{\partial y_{12}}{\partial x_i} & \cdots & \frac{\partial y_{1n}}{\partial x_i}\\ \frac{\partial y_{21}}{\partial x_i} & \frac{\partial y_{22}}{\partial x_i} & \cdots & \frac{\partial y_{2n}}{\partial x_i}\\ \vdots & \vdots & \ddots & \vdots\\ \frac{\partial y_{m1}}{\partial x_i} & \frac{\partial y_{m2}}{\partial x_i} & \cdots & \frac{\partial y_{mn}}{\partial x_i}\\ \end{bmatrix}.$$

Dejemos que $$\mathbf{Y} = \mathbf{xx^T} = \begin{bmatrix} x_1^2 & x_1x_2 & \ldots & x_1x_n \\ x_1x_2 & x_2^2 & \ldots & x_2x_n \\ \ldots &\ldots & \ldots & \ldots \\ x_nx_1 & x_nx_2 & \ldots & x_n^2 \\ \end{bmatrix}$$ Así que $$\frac{\partial \mathbf{xx^T}}{\partial x_i} = \mathbf{Z}_i + \mathbf{Z}_i^T \qquad i \in \lbrace 1 \ldots x \rbrace$$ donde $\mathbf{Z}_i$ es una matriz todo cero excepto el vector $x$ en su $i^{th}$ columna.

Hessian

La derivada de $\frac{\partial \mathbf{Z}_i}{\partial x_j}$ es una matriz todo cero excepto $1$ en su $(j,i)$ posición. Por simetría, la derivada de $\frac{\partial \mathbf{Z}_i^T}{\partial x_j}$ es una matriz totalmente nula, excepto $1$ en su $(i,j)$ posición. Esto significa que $$\frac{\partial \mathbf{xx^T}}{\partial x_i \partial x_j} = \mathbf{K}_{i,j} \qquad (i,j) \in \lbrace 1 \ldots x \rbrace$$ donde $\mathbf{K}_{i,j}$ es un $n \times n$ matriz que es todo cero excepto en las posiciones $(i,j)$ y $(j,i)$ . Tenga en cuenta que si $i = j$ , obtenemos un $2$ en el $i^{th}$ (o $j^{th}$ ).

Answer 2

Es muy fácil calcular estas cosas en notación de índice. $$\eqalign{ F_{ij} &= x_ix_j \cr G_{ijk} = \frac{\partial F_{ij}}{\partial x_k} &= x_i\delta_{jk} + x_j\delta_{ik} \cr H_{ijkl} = \frac{\partial^2F_{ij}}{\partial x_k\partial x_l} &= \delta_{il}\delta_{jk} + \delta_{ik}\delta_{jl} \cr }$$

Answer 3

Esto es estándar Diferenciación de la matriz

El gradiente es $2x$ y el hessiano es $2 I$ .

Por cierto, asumo que quieres decir $x^T x$ desde $x x^T$ es una matriz y no tiene gradiente ni hessiano.