Supongamos que la matriz $R$ para una rotación dada no es única y existe otra matriz $Q\neq R$ que realiza exactamente la misma rotación. Esto significa que
$\forall \mathbf{v}\in\mathbb{R}^n:\quad Q\mathbf{v}=R\mathbf{v}$
y por lo tanto
$\forall \mathbf{v}\in\mathbb{R}^n:\quad (Q-R)\mathbf{v}=\mathbf{0}$
Esto significa que el espacio nulo de $M=(Q-R)$ (el subespacio de todos los vectores cuya imagen es el vector cero) tiene que consistir en todo el $\mathbb{R}^n$ (y por lo tanto tiene una dimensión de $n$ por supuesto). El teorema de la nulidad ahora afirma, que el rango de $M$ es la diferencia de su dimensión y la dimensión de su espacio nulo, en este caso $0$ . Pero también, sólo la matriz cero tiene un rango de $0$ .
Esto significa que la ecuación anterior sólo es válida para $(Q-R)=O$ (con $O$ siendo el $n\times n$ matriz cero), lo que a su vez implica $Q=R$ . Esto contradice la suposición. Así que cada rotación (de hecho cualquier transformación lineal) en $\mathbb{R}^n$ corresponde a un único $n\times n$ (para una base determinada $B$ por supuesto). Además, cada matriz ortogonal $R\in\mathbb{R}^{n\times n}$ con $\det R=1$ representa una rotación única en $\mathbb{R}^n$ (de nuevo para una base determinada $B$ de $\mathbb{R}^n$ ).
De hecho, la representación matricial es aún más única que la representación eje-ángulo o cuaternión (por no hablar de las ambigüedades de los ángulos de Euler), ya que debido a la periodicidad del $\sin$ y $\cos$ utilizado en la representación matricial no tiene la ambigüedad del ángulo, porque $R(\theta)=R(\theta+2\pi k)$ . Y ni siquiera tienes la ambigüedad de que el eje y el ángulo negados (o el cuaternión negado) sean la misma rotación (lo que has outrado especialmente en tu pregunta), porque sus representaciones matriciales son de hecho las mismas.