Yo habría empezado por ver qué pasa si asume una de las propiedades que desea mostrar. Por ejemplo $AB = BA$ junto con $ABA = B A^2 B$ implica claramente $A^2 B = A^2 B^2$ y por lo tanto $B = I$ . Del mismo modo, si se asume $B^2 = I$ entonces $B^{2n - 1} = I$ implica $B = B^{2n} = (B^2)^n = I$ . Por último, hay que tener en cuenta que $B^2 = B$ implica $B = I$ sin ningún tipo de suposición adicional, ya que $B$ se supone que es invertible.
Así que ahora sabemos que $A$ y $B$ sólo conmutan si las relaciones dadas ya implican que $B = I$ y por supuesto si tenemos $B = I$ entonces todas las relaciones deseadas ( $AB = BA$ , $B^2 = B$ y $B^2 = I$ ) también se satisfacen.
Ahora, podemos buscar un ejemplo de matrices $A$ y $B$ que satisfacen las relaciones anteriores, así como $B \neq I$ y entonces sabríamos que las relaciones no implican ninguna de las relaciones mencionadas.
Al mismo tiempo, podemos intentar hacer lo que ya has empezado y buscar nuevas relaciones que nos ayuden quizás a deducir $B = I$ a partir de las relaciones dadas. De hecho, tenemos $$A B A^{-1} = A B A^2 = B A^2 B A = BA (ABA) = B A B A^2 B = B (ABA^{-1}) B$$ Y así tenemos $(ABA^{-1}) B (ABA^{-1})^{-1} = B^{-1}$ y esto se generaliza a $$(ABA^{-1})^k B (ABA^{-1})^{-k} = B^{(-1)^{k}}$$ para todos $k$ . Sin embargo, para $k = 2n-1$ tenemos $(ABA^{-1})^k = A B^{k} A^{-1} = I$ y así $B = B^{(-1)^{2n-1}} = B^{-1}$ que da $B^2 = I$ y como vimos anteriormente, utilizando $B^{2n-1} = I$ esto implica $B = I$ .