Voy a añadir una breve explicación de por qué la matriz $P$ puede ser calculada de esta manera.
Usted quiere encontrar una matriz $P$ tal que $P^{-1}AP=J$ que es equivalente a $$AP=PJ.$$
Deje que nos indican las columnas de la matriz $P$ por $\vec u_1$, $\vec u_2$, $\vec u_3$. (Voy a trabajar con vectores columna aquí. Queremos $P$ a ser más regulares, por lo que estos vectores deben ser linealmente independientes). Así que hemos reescrito la matriz$P$$P=\begin{pmatrix} \vec u_1 & \vec u_2 & \vec u_3 \end{pmatrix}$.
Ahora nos damos cuenta de que
$$AP= A\begin{pmatrix} \vec u_1 & \vec u_2 & \vec u_3 \end{pmatrix} = \begin{pmatrix} A\vec u_1 & A\vec u_2 & A\vec u_3 \end{pmatrix}.$$
(Si esto no es claro para usted, piense un poco acerca de la definición de la multiplicación de matrices.)
¿Qué podemos decir acerca de las matrices $J$$PJ$? Ya tenemos dos autovalores $\lambda_{1,2}$, y la multiplicidad de $\lambda_1$ es de dos, tenemos dos posibilidades
$$J=
\begin{pmatrix}
\lambda_1 & 0 & 0 \\
0 & \lambda_1 & 0 \\
0 & 0 & \lambda_2
\end{pmatrix}
\qquad\text{o}\qquad
J=
\begin{pmatrix}
\lambda_1 & 1 & 0 \\
0 & \lambda_1 & 0 \\
0 & 0 & \lambda_2
\end{pmatrix}
$$
(Por CIERTO que no menciona en su post cómo sabe usted que en este caso se obtiene la segunda posibilidad.)
En el primer caso tenemos
$$
PJ=
\begin{pmatrix} \vec u_1 & \vec u_2 & \vec u_3 \end{pmatrix}
\begin{pmatrix}
\lambda_1 & 0 & 0 \\
0 & \lambda_1 & 0 \\
0 & 0 & \lambda_2
\end{pmatrix}=
\begin{pmatrix} \lambda_1\vec u_1 & \lambda_1\vec u_2 & \lambda_2\vec u_3 \end{pmatrix}.$$
Así que si queremos $AP=PJ$, es decir,
$$\begin{pmatrix} A\vec u_1 & A\vec u_2 & A\vec u_3 \end{pmatrix}=
\begin{pmatrix} \lambda_1\vec u_1 & \lambda_1\vec u_2 & \lambda_2\vec u_3 \end{pmatrix},$$
a continuación, queremos encontrar vectores linealmente independientes $\vec u_{1,2,3}$ tal que $A\vec u_1=\lambda_1\vec u_1$, $A\vec u_2=\lambda_1\vec u_2$ y $A\vec u_3= \lambda_2 \vec u_3$. Esto significa que $\vec u_{1,2}$ son vectores propios de a $\lambda_1$ $\vec u_3$ es un autovector correspondiente a $\lambda_2$.
Basado en lo que usted escribió en el OP, parece que se calculan los vectores propios y no encontrar dos vectores propios linealmente independientes para $\lambda_1=0$. Así que debemos intentar la segunda posibilidad para $J$.
En este caso tenemos
$$
PJ=
\begin{pmatrix} \vec u_1 & \vec u_2 & \vec u_3 \end{pmatrix}
\begin{pmatrix}
\lambda_1 & 1 & 0 \\
0 & \lambda_1 & 0 \\
0 & 0 & \lambda_2
\end{pmatrix}=
\begin{pmatrix} \lambda_1\vec u_1+\vec u_2 & \lambda_1\vec u_2 & \lambda_2\vec u_3 \end{pmatrix}.$$
Ahora $AP=PJ$, es decir,
$$\begin{pmatrix} A\vec u_1 & A\vec u_2 & A\vec u_3 \end{pmatrix}=
\begin{pmatrix} \lambda_1\vec u_1+\vec u_2 & \lambda_1\vec u_2 & \lambda_2\vec u_3 \end{pmatrix},$$
es equivalente a
$A\vec u_1=\lambda_1\vec u_1+\vec u_2$, $A\vec u_2=\lambda_1\vec u_2$ y $A\vec u_3= \lambda_2 \vec u_3$.
Así que si usted ya tiene un autovector $\vec u_2$, usted necesita encontrar autovector generalizado $\vec u_1$ el cumplimiento de
$A\vec u_1=\lambda_1\vec u_1+\vec u_2$ o, equivalentemente,
$$(A-\lambda_1I)\vec u_1=\vec u_2.$$
Es importante mencionar que la situación sería un poco más complicado si tuviéramos polinomio característico de la forma $(x-\lambda_1)^3$. Habría más posibilidades para la forma normal de Jordan $J$ y también en el caso
$J=\begin{pmatrix}
\lambda_1 & 1 & 0 \\
0 & \lambda_1 & 0 \\
0 & 0 & \lambda_1
\end{pmatrix}$
tendríamos dos linealmente independiente de vectores propios para el autovalor $\lambda_1$, pero no cada autovector tendría un autovector generalizado. Por lo que si utilizamos esta forma de calcular la matriz $P$, tendríamos que ser cuidadosos con la elección de los vectores propios y a pedido de los vectores obtenidos en el final de la matriz.
