Pregunta 1: Sea $A$ y $B$ matrices cuadradas del mismo orden. Demuestra que $I-AB$ es invertible si y solo si $I-BA$ es invertible.
Prueba: Sea $C$ la inversa de $I-AB$. Entonces, $$I-BA=I-BIA=I-BC(I-AB)A=I-BCA(I-BA),$$ lo cual nos da $$(I-BA)(I+BCA)=I.$$ Así que $I-BA$ es invertible con la inversa $I+BCA$.
Pregunta 2: Sea $A$ una matriz de $m\times n$ y $B$ una matriz de $n\times m$ con $m\leq n$. Demuestra que $AB$ y $BA$ tienen los mismos valores propios no nulos, contando multiplicidades, con $BA$ teniendo $n-m$ valores propios adicionales iguales a $0$.
Prueba: (Es una prueba de C. R. Johnson y E. Schreiner publicada en American Mathematical Monthly 103 (1996), 578-582)
Primero notemos que las matrices particionadas $(m+n)\times (m+n)$ $$\left[ \begin{array}{cc} AB & 0\\ B & 0 \end{array} \right] \qquad \text{y} \qquad \left[ \begin{array}{cc} 0 & 0\\ B & BA \end{array} \right]$$ son similares entre sí mediante el cálculo de bloques particionados: $$\left[ \begin{array}{cc} AB & 0\\ B & 0 \end{array} \right] \left[ \begin{array}{cc} I_m & A\\ 0 & I_n \end{array} \right]= \left[ \begin{array}{cc} AB & ABA\\ B & BA \end{array} \right]= \left[ \begin{array}{cc} I_m & A\\ 0 & I_n \end{array} \right] \left[ \begin{array}{cc} 0 & 0\\ B & BA \end{array} \right]. $$ Dado que $$\left[ \begin{array}{cc} I_m & A\\ 0 & I_n \end{array} \right] $$ es invertible, proporciona la similitud. Debido a que $$\left[ \begin{array}{cc} AB & 0\\ B & 0 \end{array} \right] $$es triangular por bloques, sus valores propios son los de los dos bloques diagonales, $AB$ y la matriz de ceros $n\times n$ (Ver valores propios de una matriz de bloques o los valores propios de una matriz de bloques). De manera similar, los valores propios de $$ \left[ \begin{array}{cc} 0 & 0\\ B & BA \end{array} \right] $$ son los valores propios de $BA$, junto con $m$ ceros. Dado que las dos matrices particionadas son similares y las matrices similares tienen los mismos valores propios (ver las matrices similares tienen los mismos valores propios), $AB$ y $BA$ deben tener los mismos valores propios no nulos (contando multiplicidades) y los $n-m$ valores propios adicionales de $BA$ deben ser todos $0$.
Prueba Alternativa: (Es una prueba del libro Matrix Analysis (Roger A. Horn, Charles R. Johnson) sugerida en el Ejercicio 9, página 55.)
(a) Primero, supongamos que $A,B\in M_n$ y que al menos uno de ellos es invertible. Muestra que $AB$ es similar a $BA$ y por lo tanto los polinomios característicos de $AB$ y $BA$ son iguales. Pista: Si $A$ es invertible, $BA=A^{-1}(AB)A$.
(b) Muestra que si $A,B\in M_n$ son singulares, $AB$ y $BA$ tienen los mismos valores propios, contando multiplicidades. Pista: Considera el siguiente argumento analítico. Para todo $\varepsilon>0$ lo suficientemente pequeño, $A_{\varepsilon}:=A+\varepsilon I$ es invertible; entonces $A_{\varepsilon}B$ y $BA_{\varepsilon}$ son similares y por lo tanto los polinomios característicos de $A_{\varepsilon}B$ y $BA_{\varepsilon}$ son iguales. Si ahora dejamos que $\varepsilon \to 0$, la similitud puede fallar en el límite, pero la igualdad de los polinomios característicos sigue siendo válida ya que $p_{A_{\varepsilon}B}(t)=\det{(tI-A_{\varepsilon}B)}$ depende de manera continua de $\varepsilon$. Por lo tanto, $AB$ y $BA$ tienen los mismos polinomios característicos y, por lo tanto, los mismos valores propios, contando multiplicidades.
(Hasta ahora las partes (a) y (b) son iguales a la respuesta de @A.G.)
(c) Finalmente, si $A\in M_{m, n}$ y $B\in M_{n, m}$, con $mPista: Forma matrices $n$ por $n$ tanto de $A$ (añadiendo filas de ceros) como de $B$ (añadiendo columnas de ceros), aplica el resultado anterior y compara los dos nuevos productos (de manera apropiadamente particionada) con los anteriores.