Primer paso: Encuentra los autovalores de tu matriz.
Los autovectores son vectores $\mathbf x$ tales que al ser multiplicados por una matriz $A$, solo son escalados por un número. Es decir, $A\mathbf x = \lambda \mathbf x$, donde $\lambda$ es solo un número, llamado el autovalor asociado con el autovector $\mathbf x$.
La forma de hacer esto es restar el $\lambda \mathbf x$ de ambos lados para obtener $A\mathbf x -\lambda \mathbf x=\mathbf 0$. Ahora factoriza el $\mathbf x$ para obtener $(A-\lambda I)\mathbf x = \mathbf 0$, donde $I$ es la matriz identidad - nota: necesitamos la matriz identidad porque sumar una matriz y un escalar está indefinido.
Esta ecuación, $(A-\lambda I)\mathbf x = \mathbf 0$ tiene una solución no trivial (una solución donde $\mathbf x \ne 0$) si y solo si $\det(A-\lambda I)=0$ (¿puedes demostrar esto?).
Así que veamos ese determinante: $$\det(A-\lambda I) = \det\left(\begin{bmatrix} 1 & 2 & 0 \\ 2 & 1 & 0 \\ 0 & 0 & -3 \\ \end{bmatrix} - \begin{bmatrix} \lambda & 0 & 0 \\ 0 & \lambda & 0 \\ 0 & 0 & \lambda \end{bmatrix}\right)$$ $$= \det\left(\begin{bmatrix} 1 - \lambda & 2 & 0 \\ 2 & 1 - \lambda & 0 \\ 0 & 0 & -3-\lambda \\ \end{bmatrix}\right) = 0$$
Usando nuestra fórmula para el determinante vemos que esto es igual a $(1-\lambda)((1-\lambda)(-3-\lambda)-0)-2(2(-3-\lambda)-0)=0$. Esto tiene soluciones (si no cometí un error) de $\lambda =-3$ o $\lambda = -1$ o $\lambda = 3$.
Estos son los autovalores de esta matriz.
Segundo paso: Coloca estos números en la diagonal de una matriz - con ceros en todas partes - en el orden que prefieras ¡y has terminado! ¡Yupi!
$$\begin{bmatrix} -3 & 0 & 0 \\ 0 & -1 & 0 \\ 0 & 0 & 3\end{bmatrix}$$ es una de tus posibles matrices diagonales.
Sin embargo, verifiquemos nuestra solución.
Tercer paso: Encuentra los autovectores asociados con los autovalores de esta matriz.
Comencemos con el primer autovalor $\lambda = -3$ y sustituyámoslo en nuestra matriz $A-\lambda I$ y luego intentemos encontrar todas las soluciones de $(A-\lambda I)\mathbf x = \mathbf 0$.
$$(A-\lambda I)\mathbf x = \begin{bmatrix} 4 & 2 & 0 \\ 2 & 4 & 0 \\ 0 & 0 & 0 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix}$$
Ahora notamos que si $A\mathbf x= \mathbf 0$, entonces $R\mathbf x = \mathbf 0$ donde $R$ es la forma escalonada reducida por filas de $A$. Supongo que sabes cómo reducir por filas una matriz, así que simplemente te mostraré la forma $R\mathbf x=\mathbf 0$:
$$\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0\end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ 0\end{bmatrix}$$
Aquí podemos ver claramente que todas las soluciones $\mathbf x$ de esta ecuación son de la forma $t\begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}$, para algún escalar $t$. Por lo tanto, $\begin{bmatrix} 0 \\ 0 \\ 1\end{bmatrix}$ es el autovector asociado con el autovalor $\lambda =-3$ de la matriz $A$.
Siguiendo el mismo procedimiento exactamente: vemos que los otros dos autovectores son $\mathbf x_{\lambda_2} = \begin{bmatrix} -1 \\ 1 \\ 0\end{bmatrix}$ y $\mathbf x_{\lambda_{3}} = \begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix}$.
Cuarto paso: Verifica tu matriz diagonal construyendo una matriz de bloques $P$ con tus autovectores y usando la ecuación $P^{-1}AP=\Lambda$.
Coloca tus autovectores en las columnas de una matriz: $$P = \begin{bmatrix} 0 & -1 & 1 \\ 0 & 1 & 1 \\ 1 & 0 & 0\end{bmatrix}$$
Encuentra la inversa $P^{-1}$ de esa matriz: $$P^{-1} = \begin{bmatrix}0 & 0 & 1 \\ -\frac 12 & \frac 12 & 0 \\ \frac 12 & \frac 12 & 0\end{bmatrix}$$
Ahora multiplica la expresión $P^{-1}AP$ y verifica si obtienes de vuelta tu matriz diagonal.
$$P^{-1}AP = \begin{bmatrix}0 & 0 & 1 \\ -\frac 12 & \frac 12 & 0 \\ \frac 12 & \frac 12 & 0\end{bmatrix}\begin{bmatrix} 1 & 2 & 0 \\ 2 & 1 & 0 \\ 0 & 0 & -3 \\ \end{bmatrix}\begin{bmatrix} 0 & -1 & 1 \\ 0 & 1 & 1 \\ 1 & 0 & 0\end{bmatrix} = \begin{bmatrix} -3 & 0 & 0 \\ 0 & -1 & 0 \\ 0 & 0 & 3\end{bmatrix}$$
¡Éxito!