Desde $A$ es ortogonal, sabemos que $AA^T=I$ es decir $A^T=A^{-1}$ . Esto implica que $\det(A)=\pm1$ . Se nos da que $\det(A)=1$ .
Una matriz ortogonal representa una isometría; es decir, $$ |Ax|^2=x^TA^TAx=x^Tx=|x|^2 $$ Existen dos tipos de isometrías en $\mathbb{R}^3$ rotaciones y reflexiones. las rotaciones tienen determinante $1$ (conservan la orientación) y las reflexiones tienen determinante $-1$ (invierten la orientación). Así, $A$ es una rotación.
Rotaciones en un ángulo distinto de $0$ ou $\pi$ tiene un vector propio real, el eje de rotación, y tiene un valor propio $1$ . Sea $v$ sea el eje de rotación de $A$ . Es decir, $Av=v$ . Multiplicar por $A^{-1}$ produce $v=A^{-1}v=A^Tv$ . Por lo tanto, $v$ es también un vector propio de $A^T$ con valor propio $1$ . Así, $$ Mv=(A-A^T)v=v-v=0 $$ Supongamos que $Mu=0$ entonces $Au=A^Tu$ . Multiplicar por $A$ produce $A^2u=u$ . Así, $$ Mu=0\implies(A+I)(A-I)u=0 $$ Dado que el único valor propio real de $A$ es $1$ , $A+I$ es invertible, lo que implica que $(A-I)u=0$ . Es decir, $u$ es paralelo al eje de rotación. Por lo tanto, la nulidad de $M$ es $1$ y su rango es $3-1=2$ .
Para responder a la segunda parte de la pregunta, primero observamos que estamos buscando un vector propio con valor propio $1$ . Eso es un $v$ para que $$ \begin{bmatrix} a_{11}-1&a_{12}&a_{13}\\ a_{21}&a_{22}-1&a_{23}\\ a_{31}&a_{32}&a_{33}-1\\ \end{bmatrix} v=0 $$ Para obtener un vector perpendicular a las dos primeras filas de $A$ podemos tomar su producto cruzado: $$ v=\begin{bmatrix} a_{12}a_{23}-(a_{22}-1)a_{13}\\ a_{13}a_{21}-(a_{11}-1)a_{23}\\ (a_{11}-1)(a_{22}-1)-a_{21}a_{12} \end{bmatrix} $$ Dado que las filas de $A-I$ son linealmente dependientes, esto $v$ también es perpendicular a la tercera fila. Si el vector anterior es $0$ (por ejemplo, si las dos primeras filas de $A-I$ son paralelas), entonces prueba el producto cruzado de la segunda y tercera filas de $A-I$ : $$ v=\begin{bmatrix} (a_{22}-1)(a_{33}-1)-a_{32}a_{23}\\ a_{23}a_{31}-a_{21}(a_{33}-1)\\ a_{21}a_{32}-a_{31}(a_{22}-1) \end{bmatrix} $$ o el producto cruzado de la tercera y la primera fila de $A-I$ : $$ v=\begin{bmatrix} a_{32}a_{13}-a_{12}(a_{33}-1)\\ (a_{33}-1)(a_{11}-1)-a_{31}a_{13}\\ a_{31}a_{12}-(a_{11}-1)a_{32} \end{bmatrix} $$