La condición implica que $BA$ se desplaza con $AB$ y por tanto son simultáneamente triangulables sobre $\mathbb C$ .
Dejemos que $AB$ y $BA$ se triangularán simultáneamente. Como $AB$ y $BA$ en general tienen espectros idénticos, si $\lambda_1,\ldots,\lambda_n$ son los valores propios de $BA$ a lo largo de su diagonal, entonces las entradas a lo largo de la diagonal de $AB$ son $\lambda_{\sigma(1)},\ldots,\lambda_{\sigma(n)}$ para alguna permutación $\sigma$ . Por lo tanto, la condición dada implica que $f(\lambda_i)=\lambda_{\sigma(i)}$ donde $f:z\mapsto (z^2+1)/2$ .
En otras palabras, $f$ es una biyección entre los valores propios de $BA$ . Como $f$ asigna números reales a números reales, también debe ser una biyección entre los valores propios reales de $BA$ .
Desde $BA$ es una matriz real de dimensión impar, los valores propios reales existen. Ahora bien, como $f(x)\ge x$ en $\mathbb R$ , $f$ debe asignar el mayor valor propio real de $BA$ a sí mismo. Resolver $f(x)=x$ vemos que este valor propio es $1$ .
Editar. Como señala el OP en su comentario, en realidad sólo tenemos que considerar el mayor valor propio real. Sea $(\lambda,x)$ sea un par propio de $BA$ , donde $\lambda$ es el mayor valor propio real de $BA$ . Entonces $(\frac{\lambda^2+1}2,x)$ es un par propio de $AB$ . Sin embargo, como $AB$ y $BA$ tienen idénticos espectros y $\frac{\lambda^2+1}2\ge \lambda$ Debemos tener $\frac{\lambda^2+1}2=\lambda$ y por lo tanto $\lambda=1$ .
