Supongo que $A,B$ son reales $n\times m$ matrices. Pero la misma prueba da el mismo resultado que a continuación para matrices complejas con el adjunto en lugar de la transposición.
Por cada real $n\times m$ matrices $A,B$ tenemos $$ |\det (AB^T+BA^T)|\leq \det(AA^T+BB^T). $$
Prueba: si $x\in\ker (AA^T+BB^T)$ entonces $\|A^Tx\|^2+\|B^Tx\|^2=0$ De ahí que $A^Tx=B^Tx=0$ y así $x\in \ker(AB^T+BA^T)$ . En otras palabras, si $\det(AA^T+BB^T)=0$ Tenemos $\det(AB^T+BA^T)=0$ y la desigualdad se mantiene. Así que supondremos que $AA^T+BB^T$ es invertible a partir de ahora.
La matriz $C=(A-B)(A-B)^T$ es semidefinido positivo. Así que $$ 0\leq (Cx,x)=((AA^T+BB^T)x,x)-((AB^T+BA^T)x,x) $$ de donde $$ ((AB^T+BA^T)x,x)\leq ((AA^T+BB^T)x,x). $$ Cambiar $B$ para $-B$ obtenemos en conjunto
$$ |((AB^T+BA^T)x,x)|\leq ((AA^T+BB^T)x,x). $$
Denote $C:=AB^T+BA^T$ que es simétrica, y $D:=AA^T+BB^T$ que es definida positiva y tiene una única raíz cuadrada definida positiva $D^{1/2}$ . Ahora la desigualdad anterior implica, con $x=D^{-1/2}y$ : $$ |(D^{-1/2}CD^{-1/2}y,y)|\leq(y,y)=\|y\|^2\qquad\forall y\in\mathbb{R}^n. $$ Desde $T=D^{-1/2}CD^{-1/2}$ es simétrica, es diagonalizable en una base ortonormal y lo anterior demuestra que su espectro está contenido en $[-1,1]$ . A fortiori $$ |\det (D^{-1/2}CD^{-1/2})|\leq 1\qquad \Rightarrow \qquad |\det C|\leq \det D. $$ QED.
Nota: la desigualdad que querías inicialmente requiere que $A,B$ sean matrices cuadradas del mismo tamaño. Como has observado, la desigualdad no es cierta en general. La transposición no estaba en el lugar correcto. De la desigualdad anterior se deduce, en particular, que la desigualdad que querías al principio se cumple cuando $A,B$ son ambos simétricos, o ambos asimétricos. Por supuesto, también es cierto si $AB=0$ . Se pueden añadir algunas soluciones más. Todo $(A,B)$ tal que la matriz simétrica $AB+B^TA^T$ es singular o tiene un número impar de valores propios negativos. Pero dudo que haya una buena caracterización general. Aunque puede que me equivoque.