Dejo mi primera respuesta a continuación. Aquí hay una mucho más fácil: Como a continuación, podemos suponer $AB + \gamma BA = I$ , donde $|\gamma|\neq 1$ y $\gamma\neq 0$ . Poner $\lambda_0 = (1+\gamma)^{-1}$ . Entonces $$ AB-\lambda_0 = 1 - \lambda_0 - \gamma BA = -\gamma\left(BA - \frac{1-\lambda_0}{\gamma}\right) = -\gamma(BA-\lambda_0). $$ Por lo tanto, como $AB$ y $BA$ tienen los mismos valores propios, $$ \sigma(BA-\lambda_0) = \sigma(AB-\lambda_0) = -\gamma\cdot\sigma(BA-\lambda_0).$$ Así, la multiplicación por $(-\gamma)$ deja el conjunto finito $\sigma(BA-\lambda_0)$ invariante. Pero, como $|\gamma|\neq 1$ Esto sólo es posible si $\sigma(BA-\lambda_0) = \{0\}$ . Por lo tanto, $BA-\lambda_0$ es nilpotente. Y como $$ AB-BA = I - \gamma BA - BA = I - \lambda_0^{-1}BA = -\lambda_0^{-1}(BA - \lambda_0), $$ lo mismo ocurre con $AB-BA$ . En particular, $AB-BA$ no es invertible, es decir, $\det(AB-BA)=0$ .
La declaración es clara para $\alpha = 0$ . Por lo tanto, dejemos que $\alpha\neq 0$ . En este caso, con $A' = \alpha A$ tenemos $A'B + \frac{\beta}{\alpha}BA' = I$ . Por lo tanto, podemos suponer que $AB + \gamma BA = I$ con $|\gamma|\neq 1$ y $\gamma\neq 0$ .
Dejemos que $x$ sea un vector propio de $AB$ con respecto al valor propio $\lambda$ . Entonces $$ \lambda x + \gamma BAx = x, $$ es decir, $$ BAx = \frac{1-\lambda}\gamma x. $$ Pero sabemos que $AB$ y $BA$ tienen exactamente los mismos valores propios (incluso las mismas estructuras de Jordan) ya que ambos son invertibles. Por lo tanto, la función $f(z) = \tfrac{1-z}\gamma$ es un mapa propio del conjunto de valores propios. Por lo tanto, hay un valor propio $\lambda$ tal que $f^n(\lambda) = \lambda$ para algunos $n$ , donde $f^n = f\circ\ldots\circ f$ ( $n$ veces).
Se puede demostrar fácilmente por inducción que $$ f^n(z) = \frac{1 - (-\gamma^{-1})^n}{1+\gamma} + (-\gamma^{-1})^nz $$ y luego (ya que $(-\gamma^{-1})^n\neq 1$ ) que el único punto fijo de cada $f^n$ es $z = (1+\gamma)^{-1}$ . Así, $\lambda = (1+\gamma)^{-1}$ . En particular, $f(\lambda) = \lambda$ . Pero entonces, con el vector propio $x$ de arriba, tenemos $$ (BA-AB)x = BAx - ABx = f(\lambda)x - \lambda x = 0. $$ Por lo tanto, la matriz $BA-AB$ no es invertible, lo que significa que $\det(BA-AB) = 0$ .