Dejo mi primera respuesta a continuación. Aquí hay una mucho más fácil: Como a continuación, podemos suponer AB + \gamma BA = I , donde |\gamma|\neq 1 y \gamma\neq 0 . Poner \lambda_0 = (1+\gamma)^{-1} . Entonces AB-\lambda_0 = 1 - \lambda_0 - \gamma BA = -\gamma\left(BA - \frac{1-\lambda_0}{\gamma}\right) = -\gamma(BA-\lambda_0). Por lo tanto, como AB y BA tienen los mismos valores propios, \sigma(BA-\lambda_0) = \sigma(AB-\lambda_0) = -\gamma\cdot\sigma(BA-\lambda_0). Así, la multiplicación por (-\gamma) deja el conjunto finito \sigma(BA-\lambda_0) invariante. Pero, como |\gamma|\neq 1 Esto sólo es posible si \sigma(BA-\lambda_0) = \{0\} . Por lo tanto, BA-\lambda_0 es nilpotente. Y como AB-BA = I - \gamma BA - BA = I - \lambda_0^{-1}BA = -\lambda_0^{-1}(BA - \lambda_0), lo mismo ocurre con AB-BA . En particular, AB-BA no es invertible, es decir, \det(AB-BA)=0 .
La declaración es clara para \alpha = 0 . Por lo tanto, dejemos que \alpha\neq 0 . En este caso, con A' = \alpha A tenemos A'B + \frac{\beta}{\alpha}BA' = I . Por lo tanto, podemos suponer que AB + \gamma BA = I con |\gamma|\neq 1 y \gamma\neq 0 .
Dejemos que x sea un vector propio de AB con respecto al valor propio \lambda . Entonces \lambda x + \gamma BAx = x, es decir, BAx = \frac{1-\lambda}\gamma x. Pero sabemos que AB y BA tienen exactamente los mismos valores propios (incluso las mismas estructuras de Jordan) ya que ambos son invertibles. Por lo tanto, la función f(z) = \tfrac{1-z}\gamma es un mapa propio del conjunto de valores propios. Por lo tanto, hay un valor propio \lambda tal que f^n(\lambda) = \lambda para algunos n , donde f^n = f\circ\ldots\circ f ( n veces).
Se puede demostrar fácilmente por inducción que f^n(z) = \frac{1 - (-\gamma^{-1})^n}{1+\gamma} + (-\gamma^{-1})^nz y luego (ya que (-\gamma^{-1})^n\neq 1 ) que el único punto fijo de cada f^n es z = (1+\gamma)^{-1} . Así, \lambda = (1+\gamma)^{-1} . En particular, f(\lambda) = \lambda . Pero entonces, con el vector propio x de arriba, tenemos (BA-AB)x = BAx - ABx = f(\lambda)x - \lambda x = 0. Por lo tanto, la matriz BA-AB no es invertible, lo que significa que \det(BA-AB) = 0 .