Creo que abordar el problema es más fácil mostrando el Semidefinición positiva de M y N. Así se puede generalizar a $A,B \in R^{n \times n}$ .
Expandir el cuadrado de la matriz $AB$ y $BA$ según esta fuente , $M = (AB)^2 = ABB^TA^T, N = (BA)^2 = BAA^TB^T$ son simétricos. Como resultado, sus valores propios son reales.
Además, M y N son PSD (mostrados al final de la respuesta). El determinante de una matriz PSD es mayor o igual que cero. Por lo tanto, basta con demostrar que $2(M - N)^2 + 16MN = 2M^2 + 12MN + 2N^2$ es PSD. Y esto es trivial ya que es una suma y producto de matrices simétricas PSD.
M es PSD si $x^TMx \geq 0$ $\forall x \in R^n$ $\implies x^TABB^TA^Tx = \sum_{i=1}^n\langle x,(AB)_i\rangle^2 \geq 0$ donde $(AB)_i$ es $i$ columna de la matriz $AB$ .