Voy a suponer que $O_2$ denota el cero $2\times 2$ matriz.
$a^2 \ne b^2$
Sólo necesitaremos una suposición $a\ne b$ .
Dejemos que $J$ sea una forma canónica de Jordan de la matriz $A$ . Existe una matriz no singular $T$ tal que $J=T^{-1}AT$ . Poner $H=T^{-1}BT$ . Aplicando la conjugación por $T$ a las expresiones dadas obtenemos
$$O_2=T^{-1}O_2T=T^{-1}(A(A-aB)+B(B-bA))T=$$ $$ = T^{-1}A(A-aB)T + T^{-1}B(B-bA)T=$$ $$= T^{-1}ATT^{-1}(A-aB)T + T^{-1}BTT^{-1}(B-bA)T=$$ $$= T^{-1}AT(T^{-1}AT-aT^{-1}BT) + T^{-1}BT(T^{-1}BT-bT^{-1}AT)=$$ $$J(J-aH)+H(H-bJ)=$$ $$J^2-aJH-bHJ+H^2.$$
y
$$T^{-1}(AB-BA)^2T=(JH-HJ)^2.$$
Por lo tanto, basta con demostrar que $$(JH-HJ)^2=O_2.$$
Dejemos que $$H=\begin{pmatrix} h_{11} & h_{12} \\ h_{21} & h_{22}\end{pmatrix}.$$ Entonces
$$H^2=\begin{pmatrix} h_{11}h_{11}+h_{12}h_{21} & h_{11}h_{12}+h_{12}h_{22} \\ h_{11}h_{21}+h_{21}h_{22} & h_{12}h_{21}+h_{22}h_{22}\end{pmatrix}.$$
Los siguientes casos son posibles para $J$ .
Caso 1. $$J=\begin{pmatrix} \lambda_{1} & 0 \\ 0 & \lambda_{2}\end{pmatrix}.$$ Entonces
$$J^2=\begin{pmatrix} \lambda_{1}^2 & 0 \\ 0 & \lambda_{2}^2\end{pmatrix},\, JH=\begin{pmatrix} \lambda_1 h_{11} & \lambda_1 h_{12} \\ \lambda_2 h_{21} & \lambda_2 h_{22}\end{pmatrix},\mbox{ and } HJ=\begin{pmatrix} \lambda_1 h_{11} & \lambda_2 h_{12} \\ \lambda_1 h_{21} & \lambda_2 h_{22}\end{pmatrix}.$$
Así, $$JH-HJ=(\lambda_1-\lambda_2)\begin{pmatrix} 0 & h_{12} \\ - h_{21}& 0\end{pmatrix}.$$
y $$O_2=J^2-aJH-bHJ+H^2=$$ $$\begin{pmatrix}\lambda_1^2-a\lambda_1h_{11}-b\lambda_1h_{11}+ h_{11}h_{11}+h_{12}h_{21} & -a\lambda_1h_{12}-b\lambda_2h_{12}+ h_{11}h_{12}+h_{12}h_{22} \\ -a\lambda_2h_{21}-b\lambda_1h_{21}+ h_{11}h_{21}+h_{21}h_{22} & \lambda_2^2-a\lambda_2h_{22}-b\lambda_2h_{22}+ h_{12}h_{21}+h_{22}h_{22} \end{pmatrix}.$$
En particular $h_{12}(-a\lambda_1-b\lambda_2+ h_{11}+h_{22})$ y $h_{21}(-a\lambda_2-b\lambda_1+ h_{11}+h_{22})$ son ceros. Por otro lado, $(JH-HJ)^2=O_2$ proporcionó uno de los números $\lambda_1-\lambda_2$ , $h_{12}$ y $h_{21}$ es cero. Pero si ninguno de ellos es cero, entonces $$-a\lambda_1-b\lambda_2+ h_{11}+h_{22}=0$$ y $$-a\lambda_2-b\lambda_1+ h_{11}+h_{22}=0.$$ Así, $$-a\lambda_1-b\lambda_2=-a\lambda_2-b\lambda_1,$$ o
$$b(\lambda_1-\lambda_2)=a(\lambda_1-\lambda_2),$$ una contradicción.
Caso 2. $$J=\begin{pmatrix} \lambda & 1 \\ 0 & \lambda\end{pmatrix}.$$ Entonces
$$J^2=\begin{pmatrix} \lambda^2 & 2\lambda \\ 0 &\lambda^2\end{pmatrix},\, JH=\lambda H+ \begin{pmatrix} h_{21} & h_{22} \\ 0 & 0\end{pmatrix},\mbox{ and } HJ=\lambda H+ \begin{pmatrix} 0 & h_{12} \\ 0 & h_{21}\end{pmatrix}.$$ Así, $$JH-HJ=\begin{pmatrix} h_{21} & h_{22}-h_{12} \\ 0& -h_{21}\end{pmatrix}.$$
y $$O_2=J^2-aJH-bHJ+H^2=$$ $$\begin{pmatrix}\lambda^2-(a+b)\lambda h_{11}-ah_{21}+ h_{11}h_{11}+h_{12}h_{21} & 2\lambda-(a+b)\lambda h_{12}-ah_{22}-bh_{12}+ h_{11}h_{12}+h_{12}h_{22} \\ -(a+b)\lambda h_{21}+ h_{11}h_{21}+h_{21}h_{22} & \lambda^2-(a+b)\lambda h_{22}-bh_{21}+ h_{12}h_{21}+h_{22}h_{22} \end{pmatrix}.$$
En particular $h_{21}(-(a+b)\lambda + h_{11}+h_{22})$ es cero. Por otro lado, es fácil comprobar que $(JH-HJ)^2=O_2$ si $h_{21}$ es cero. Pero $h_{21}$ no es cero, entonces $$(a+b)\lambda=h_{11}+h_{22}.$$
Así, $$O_2=\begin{pmatrix}\lambda^2-ah_{21}+ h_{12}h_{21}-h_{11}h_{22} & * \\ 0 & \lambda^2-bh_{21}+ h_{12}h_{21}-h_{11}h_{22} \end{pmatrix},$$
y por lo tanto $a=b$ una contradicción.