Calcular $\frac{\partial}{\partial \mathbf{A}}\lVert \mathbf{A}^{\top}\mathbf{AX}-\mathbf{X} \rVert _{F}^{2}$

Question

Calcular $\frac{\partial}{\partial \mathbf{A}}\lVert \mathbf{A}^{\top}\mathbf{AX}-\mathbf{X} \rVert _{F}^{2}$ con $\mathbf{A}\in\mathbb{R}^{M\times N}$ y $\mathbf{X}\in\mathbb{R}^{N\times D}$ y encontrar $\mathbf{A}$ satisfaciendo $$\frac{\partial}{\partial \mathbf{A}}\lVert \mathbf{A}^{\top}\mathbf{AX}-\mathbf{X} \rVert _{F}^{2}=\mathbf{0}_{M\times N}$$

---

Mis esfuerzos

Sé que $\frac{\partial}{\partial \mathbf{B}}\lVert \mathbf{B} \rVert _{F}^{2}=2\mathbf{B}$ y no estoy seguro de que si $\frac{\partial}{\partial \mathbf{A}}(\mathbf{A}^\top\mathbf{A})=2\mathbf{A}$ (Las obtengo de El libro de cocina de Matrix ). Cómo obtener la derivada final, y resolver $\frac{\partial}{\partial \mathbf{A}}\lVert \mathbf{A}^{\top}\mathbf{AX}-\mathbf{X} \rVert _{F}^{2}=\mathbf{0}_{M\times N}$ ?

Answer 1

Quitando la norma, estás intentando una solución por mínimos cuadrados de $$A^TAX = X \quad\implies\quad A^TA = XX^+$$ La descomposición QR da como resultado $$\eqalign{ QR &= XX^+ \\ (QR)^TQR &= (XX^+)^T(XX^+) \\ R^TQ^TQR &= (XX^+)(XX^+) \\ R^TR &= (XX^+) \\ }$$ Por lo tanto, $A=R$ es una posible solución. Para obtener las dimensiones deseadas, se debe eliminar el último $(M-N)$ filas de $R$ .

Dado que no había ningún requisito para $A$ sea triangular, son posibles otras soluciones (no triangulares) utilizando diferentes factorizaciones, por ejemplo, descomposiciones SVD o EVD.