Norma de Frobenius del producto de la matriz

Question

La norma de Frobenius de un $m \times n$ matriz $F$ se define como

$$\| F \|_F^2 := \sum_{i=1}^m\sum_{j=1}^n |f_{i,j}|^2$$

Si tengo $FG$ donde $G$ es un $n \times p$ matriz, ¿podemos decir lo siguiente?

$$\| F G \|_F^2 = \|F\|_F^2 \|G\|_F^2$$

Además, ¿qué significa norma de Frobenius? ¿Es análoga a la magnitud de un vector, pero para matrices?

Answer 1

En realidad hay $$||FG||^2_F \leqslant||F||^2_F||G||^2_F$$ La prueba es la siguiente. \begin{align} \|FG\|^2_F&=\sum\limits_{i=1}^{m}\sum\limits_{j=1}^{p}\left|\sum\limits_{k=1}^nf_{ik}g_{kj}\right|^2 \\ &\leqslant\sum\limits_{i=1}^{m}\sum\limits_{j=1}^{p}\left(\sum\limits_{k=1}^n|f_{ik}|^2\sum\limits_{k=1}^n|g_{kj}|^2\right)\tag{Cauchy-Schwarz} \\ &=\sum\limits_{i=1}^{m}\sum\limits_{j=1}^{p}\left(\sum\limits_{k,l=1}^n|f_{ik}|^2|g_{lj}|^2\right) \\ &=\sum\limits_{i=1}^{m}\sum\limits_{k=1}^{n}|f_{ik}|^2\sum\limits_{l=1}^{n}\sum\limits_{j=1}^{p}|g_{lj}|^2 \\ &=\|F\|^2_F\|G\|^2_F \end{align} La norma de Frobenius es como la norma vectorial y similar a $l_2$ .

Answer 2

Sea $A$ sea $m \times r$ y $B$ sea $r \times n$ . Un mejor límite aquí es $$ \| A B \|_F \le \|A\| \|B\|_F \quad (*) $$ donde $\|A\|$ es el $\ell_2$ norma del operador: $$ \|A\| = \max_{\|x\|_2\, \le\, 1} \|A x\|_2. $$ También es igual al mayor valor singular de A. A partir de esta definición $\|A x\|_2 \le \|A\| \|x\|_2$ para cualquier vector $x$ en $\mathbb R^r.$

Desde $\|A\| \le \|A\|_F$ la desigualdad (*) es una desigualdad estrictamente mejor que la desigualdad submultiplicativa para la norma de Frobenius.

Para ver la desigualdad, dejemos que $B = [b_1 \mid b_2 \mid \cdots \mid b_n]$ sea la descomposición en columnas de $B$ . Entonces, $A B = [Ab_1 \mid A b_2 \mid \dots \mid Ab_n]$ es la descomposición en columnas de $AB$ . De ello se deduce que \begin{align*} \| A B \|_F^2 = \sum_{j=1}^n \|A b_j\|^2 \le \|A\|^2 \sum_j \|b_j\|^2 = \|A\|^2 \|B\|_F^2. \end{align*}

---

EDIT en respuesta a la pregunta en los comentarios, "¿Existe un límite inferior para la norma de Frobenius del producto de dos matrices?". En general, no, excepto el límite inferior obvio de cero. Consideremos las dos matrices siguientes \begin{align} A = \begin{pmatrix} a & b \\ 0 & 0 \end{pmatrix} \quad B = \begin{pmatrix} -b & 0 \\ a & 0 \end{pmatrix} . \. Entonces $\|A\|_F = \|B\|_F = \sqrt{a^2 + b^2}$ mientras que $\|AB\|_F = 0$ .

¿Y si las dos matrices son simétricas? Consideremos \begin{align} A = \begin{pmatrix} a & b \\ b & a \end{pmatrix} \quad B = \begin{pmatrix} -b & a \\ a & -b \end{pmatrix} \quad A B = \begin{pmatrix} 0 & a^2-b^2 \\ a^2-b^2 & 0 \end{pmatrix} . \. Entonces, $\|A\|_F^2 = \|B\|_F^2 = 2(a^2 + b^2)$ mientras que $\|AB\|_F^2 = 2(a^2 - b^2)^2$ que puede hacerse arbitrariamente más pequeño que cualquiera de los dos $\|A\|_F^2$ o $\|B\|_F^2$ . Por ejemplo $a=b$ .

Answer 3

Por si alguien tiene curiosidad, también existe un límite inferior de forma similar a @ passerby51 la respuesta. Este resultado también se utiliza en un Documento del ICLR que puede ser muy útil. Sea $\mathbf{A}$ sea $m \times r$ y $\mathbf{B}$ sea $r\times n$ . Los límites son $$\sigma_{\min }(\mathbf{A})\|\mathbf{B}\|_{F} \leq \|\mathbf{A B}\|_{F} \leq \sigma_{\max }(\mathbf{A})\|\mathbf{B}\|_{F},$$ donde $\sigma_\min$ y $\sigma_\max$ denotan el valor singular mínimo y máximo, respectivamente.

Para demostrarlo, empezamos con la definición de norma de Frobenius, $$ \|\mathbf{A B}\|_{F}^{2}=\operatorname{trace}\left(\mathbf{A B} \mathbf{B}^{\top} \mathbf{A}^{\top}\right)=\operatorname{trace}\left(\mathbf{A}^{\top} \mathbf{A B} \mathbf{B}^{\top}\right) $$ Utilizando las desigualdades para la traza de matrices (véase la referencia a continuación o aquí ), es decir $ \lambda_{\min }(A) \operatorname{tr}(B) \leq \operatorname{tr}(A B) \leq \lambda_{\max }(A) \operatorname{tr}(B)$ tenemos $$ \lambda_{\min }\left(\mathbf{A}^{\top} \mathbf{A}\right) \operatorname{trace}\left(\mathbf{B} \mathbf{B}^{\top}\right) \leq \operatorname{trace}\left(\mathbf{A}^{\top} \mathbf{A B} \mathbf{B}^{\top}\right) \leq \lambda_{\max }\left(\mathbf{A}^{\top} \mathbf{A}\right) \operatorname{trace}\left(\mathbf{B} \mathbf{B}^{\top}\right) $$ donde $\lambda_\min$ y $\lambda_\max$ denotan los valores propios mínimo y máximo, respectivamente. Esto implica, $$ \sigma_{\min }^2(\mathbf{A})\|\mathbf{B}\|_{F}^2 \leq \|\mathbf{A B}\|_{F}^2 \leq \sigma_{\max }^2(\mathbf{A})\|\mathbf{B}\|_{F}^2. $$ Utilizando el hecho de que todos los elementos aquí son no negativos, podemos completar la prueba.

Referencia:

Y. Fang, et al., Desigualdades para la traza del producto de matrices .

Answer 4

Demostraremos que $$ \Vert FG \Vert_f^2 \leq \Vert F \Vert_f^2 \cdot \Vert G \Vert_f^2.$$ Tenemos $$\Vert FG \Vert_f^2 = \mathsf{Tr}(FG G^TF^T) = \mathsf{Tr} (F^TFGG^T),$$ por la propiedad cíclica de la función traza. Para demostrar el teorema, basta con demostrar que $$\mathsf{Tr}(F^TFGG^T) \leq \mathsf{Tr}(F^TF) \mathsf{Tr}(GG^T).$$ Observe que $F^TF$ y $GG^T$ son matrices semidefinidas positivas y simétricas. Por lo tanto, son diagonalizables y pueden escribirse como $$ F^TF = U\Sigma_F U^\dagger$$ $$GG^T = V\Sigma_G V^\dagger,$$ donde $U,V$ son matrices unitarias y $\Sigma_F,\Sigma_G$ son matrices diagonales con valores propios (no negativos) de $F^TF$ y $GG^T$ respectivamente como entradas diagonales. De nuevo, utilizando la propiedad cíclica de la función traza, podemos escribir el lado izquierdo como $$\mathsf{Tr}(F^TFGG^T) = \mathsf{Tr}(U\Sigma_F U^\dagger V\Sigma_G V^\dagger) = \mathsf{Tr}(V^\dagger U\Sigma_F U^\dagger V\Sigma_G ).$$

Es fácil demostrar las siguientes propiedades de las matrices diagonales: Sea $D$ sea una matriz diagonal con entradas diagonales no negativas.

1) Bajo cualquier transformación unitaria de $D$ la matriz resultante tiene entradas diagonales no negativas.

2) Si $M$ es una matriz cuadrada con entradas diagonales no negativas, entonces $\mathsf{Tr}(MD)\leq \mathsf{Tr}(M) \cdot \mathsf{Tr} (D)$ .

Las propiedades anteriores implican directamente que $$\mathsf{Tr}(V^\dagger U\Sigma_F U^\dagger V\Sigma_G ) \leq \mathsf{Tr}(V^\dagger U\Sigma_F U^\dagger V) \cdot \mathsf{Tr}( \Sigma_G ) =\mathsf{Tr}( \Sigma_F ) \cdot \mathsf{Tr}( \Sigma_G ) = \mathsf{Tr}(F^TF) \mathsf{Tr}(GG^T),$$ donde las dos últimas igualdades se derivan del hecho de que la traza se conserva bajo transformación unitaria.