Tenga en cuenta que $A^4=0$. Así, todos los autovalores de a $A$ debe $0$, con lo que su forma normal de Jordan tiene una de las siguientes formas
$$
A_1=\left( \begin {array}{ccc} 0&0&0\\ 0&0&0 \\ 0&0&0\end {array} \right) \text{ o }
A_2=\left( \begin {array}{ccc} 0&1&0\\ 0&0&0 \\ 0&0&0\end {array} \right)
\text{ o }
A_3=\left( \begin {array}{ccc} 0&1&0\\ 0&0&1 \\ 0&0&0\end {array} \right)
$$
Las dos primeras opciones son inmediatamente descalificado debido a que su cuadrado es $0$. Por lo tanto $A$ deberán ser similares a las $A_3$, es decir, $A= CA_3C^{-1}$ para una invertible C. Ahora $B = A^2 = C A_3^2 C^{-1} = C B C^{-1}$, lo $B$ $C$ han de desplazarse. Por lo tanto su espacio de soluciones a $A^2 = B$ está dado por
$$\{CA_3C^{-1}\vert C \in Gl(\mathbb{R},3), [B,C] = 0\}$$
Mediante la resolución de la ecuación lineal $[B,C] = 0$ ver $C$ satisface $C \in Gl(\mathbb{R},3), [B,C] = 0$ si y sólo si es de la forma
$$C=\left( \begin {array}{ccc} \lambda&*&*\\ 0&\mu&* \\ 0&0&\lambda\end {array} \right) $$
para $\lambda,\mu \neq 0$.