Por cierto, la fórmula tiene en más generalidad. Utilizando el colector de identidades:
$$[x,yz] = [x,z]z^{-1}[x,y]z,\qquad [xy,z] = y^{-1}[x,z]y[y,z],$$
que puede ser verificada por cálculo directo.
Teorema. Si $a$ $b$ conmuta con $[b,a]$, entonces:
- Para todos los números enteros $n$, $[a^n,b] = [a,b]^n = [a,b^n]$.
- Para todos los números enteros $n$, $\displaystyle (ab)^n = a^nb^n[b,a]^{n(n-1)/2}$.
Prueba.
- Si $n=0$ o $n=1$, la identidad es trivial. Suponiendo que tiene de $k$, tenemos
$$
\begin{align*}
[a^{k+1},b] &= [aa^k,b]\\
&=a^{-k}[a,b]a^k[a^k,b]\\
&= [a,b][a^k,b]\\
&= [a,b][a,b]^k = [a,b]^{k+1}.
\end{align*}$$
De modo que la identidad de $[a^n,b]=[a,b]^n$ tiene para todos los números enteros no negativos. Si $k\gt 0$, luego
$$\begin{align*}
1 &= [a^{k}a^{-k},b] = a^{k}[a^{k},b]a^{-k}[a^{-k},b]\\
&= a^k [a,b]^k a^{-k}[a^{-k},b]\\
&= a^ka^{-k}[a,b]^k[a^{-k},b]\\
&= [a,b]^k[a^{-k},b].
\end{align*}$$
Por lo $[a^{-k},b] = ([a,b]^k)^{-1} = [a,b]^{-k}$, de ahí que la identidad tiene para todos los enteros.
Finalmente,
$$[a,b^n] = [b^n,a]^{-1} = ([b,a]^n)^{-1} = ([b,a]^{-1})^{n} = [a,b]^n.$$
Esto prueba 1.
Para probar 2, el resultado se mantiene para $n=0$$n=1$. Si el resultado se mantiene para $k$, luego
$$\begin{align*}
(ab)^{k+1} &= (ab)(ab)^k\\
&= aba^kb^k[b,a]^{k(k-1)/2}\\
&=aa^kb[b,a^k]b^k[b,a]^{k(k-1)/2}\\
&=a^{k+1}bb^k[b,a^k][b,a]^{k(k-1)/2}\\
&= a^{k+1}b^{k+1}[b,a]^k[b,a]^{1+2+\cdots+(k-1)}\\
&= a^{k+1}b^{k+1}[b,a]^{1+2+\cdots+k}\\
&= a^{k+1}b^{k+1}[b,a]^{(k+1)k/2}.
\end{align*}$$
Y si $k\gt 0$, luego
$$\begin{align*}
(ab)^{-k} &= ((ab)^k)^{-1}\\
&= \left(a^kb^k[b,a]^{k(k-1)/2}\right)^{-1}\\
&= [b,a]^{-k(k-1)/2}b^{-k}a^{-k}\\
&= b^{-k}a^{-k}[b,a]^{-k(k-1)/2}\\
&= a^{-k}b^{-k}[b^{-k},a^{-k}][b,a]^{-k(k-1)/2}\\
&= a^{-k}b^{-k}[b,a]^{(-k)(-k)}[b,a]^{-k(k-1)/2}\\
&= a^{-k}b^{-k}[b,a]^{-k(-k + (k/2)- (1/2)}\\
&= a^{-k}b^{-k}[b,a]^{-k(-k-1)/2},
\end{align*}$$
demostrando la fórmula para todos los números enteros. $\Box$