Esta respuesta es una fusión de ideas de dos de los mensajes eliminados por @julien y @user1551 junto con algunos de mis pensamientos.
Seguir a @julien insight, veamos el polinomio condición en $n = 4$.
Si uno compara el coeficiente de la $x^2 y^2$ términos en ambos lados, obtenemos
$$2\text{tr}(A^2B^2) + \text{tr}( (AB)^2 ) = 0$$
Combine esto con el hecho de
$$\text{tr}((AB+BA)^2) = \text{tr}((AB+BA)^T(AB+BA)) \ge 0 \\\implies \text{tr}(A^2B^2) + \text{tr}( (AB)^2 ) \ge 0$$
Llegamos $\text{tr}(A^2B^2) \le 0$. Sin embargo
$$\text{tr}(A^2B^2) = \text{tr}(ABBA) = \text{tr}((BA)^\top BA ) \ge 0$$
Esto implica $\text{tr}(A^2B^2) = 0$.
Seguir a @user1551 la idea. Desde $A$ es real simétrica, podemos elegir una base tal que
$A$ es una matriz diagonal y su primera $k=\text{rank}(A)$ las entradas de la diagonal son el único no-cero entradas. $\text{tr}(A^2B^2)$ , a continuación, convertirse en un positivo combinación lineal de
el primer $k$ las entradas de la diagonal de a $B^2 = B^\top B$ que no son negativos en sí mismos.
Como resultado, $\text{tr}(A^2 B^2) = 0$ implica que el primero k las entradas de la diagonal de a $B^2$ se desvanecen.
Esto significa que el primer $k$ filas/columnas de $B$ son cero y, por tanto,$AB=0$.
Actualización
Resulta que hay una forma mucho más simple argumento. La expresión
$ \displaystyle \| C \|_F = \sqrt{ \text{tr}( C^\top C ) }$
es la famosa norma de Frobenius sobre el anillo de la real matrices! La desaparición del coeficiente de la $x^2 y^2$ términos
$$\text{tr}((AB+BA)^2) + 2\text{tr}(BAAB) = 0$$
es equivalente a
$$\quad \|AB+BA\|_F^2 + 2\|AB\|_F^2 = 0$$
Esto implica $\|AB\|_F = 0$ y, por tanto,$AB = 0$.
