Primero, permítanme ilustrar un enfoque alternativo. Usted está buscando en $$\left[\begin{array}{ccc}
\alpha & 1 & \alpha^2\\
1 & \alpha & 1\\
1 & \alpha^2 & 2\alpha\\
1 & 1 & \alpha^2
\end{array}\right]\left[\begin{array}{c} x_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c} -\alpha\\ 1\\ 2\alpha\\ -\alpha\end{array}\right].$$ We can use row reduction on the augmented matrix $$\left[\begin{array}{ccc|c}
\alpha & 1 & \alpha^2 & -\alpha\\
1 & \alpha & 1 & 1\\
1 & \alpha^2 & 2\alpha & 2\alpha\\
1 & 1 & \alpha^2 & -\alpha
\end{array}\right].$$ In particular, for the system to be solvable, it is necessary and sufficient that none of the rows in the reduced matrix is all $0$'s except for in the last column. Subtract the bottom row from the other rows, yielding $$\left[\begin{array}{ccc|c}
\alpha-1 & 0 & 0 & 0\\
0 & \alpha-1 & 1-\alpha^2 & 1+\alpha\\
0 & \alpha^2-1 & 2\alpha-\alpha^2 & 3\alpha\\
1 & 1 & \alpha^2 & -\alpha
\end{array}\right].$$
Es claro, entonces, que si $\alpha=1$, la segunda fila tiene todos los $0$s, salvo en la última columna, por lo $\alpha=1$ no nos da una solución del sistema. Supongamos que $\alpha\neq 1$, multiplique la fila superior por $\frac1{\alpha-1}$, y restar la nueva fila superior de la fila inferior, lo que nos da $$\left[\begin{array}{ccc|c}
1 & 0 & 0 & 0\\
0 & \alpha-1 & 1-\alpha^2 & 1+\alpha\\
0 & \alpha^2-1 & 2\alpha-\alpha^2 & 3\alpha\\
0 & 1 & \alpha^2 & -\alpha
\end{array}\right].$$
Intercambiar la segunda y cuarta filas y agregar la nueva segunda fila a las dos últimas filas, lo que nos da $$\left[\begin{array}{ccc|c}
1 & 0 & 0 & 0\\
0 & 1 & \alpha^2 & -\alpha\\
0 & \alpha^2 & 2\alpha & 2\alpha\\
0 & \alpha & 1 & 1
\end{array}\right],$$ whence subtracting $\alpha$ times the fourth row from the third row gives us $$\left[\begin{array}{ccc|c}
1 & 0 & 0 & 0\\
0 & 1 & \alpha^2 & -\alpha\\
0 & 0 & \alpha & \alpha\\
0 & \alpha & 1 & 1
\end{array}\right].$$
Tenga en cuenta que $\alpha=0$ fácilmente nos da la solución $x_1=x_2=0$, $x_3=1$. Suponga que $\alpha\neq 0,$ multiplicar la tercera fila por $\frac1\alpha$, reste la nueva tercera fila desde la cuarta fila, y restar $\alpha^2$ veces la tercera fila de la segunda fila, dando $$\left[\begin{array}{ccc|c}
1 & 0 & 0 & 0\\
0 & 1 & 0 & -\alpha^2-\alpha\\
0 & 0 & 1 & 1\\
0 & \alpha & 0 & 0
\end{array}\right],$$ whence subtracting $\alpha$ times the second row from the fourth row yields $$\left[\begin{array}{ccc|c}
1 & 0 & 0 & 0\\
0 & 1 & 0 & -\alpha^2-\alpha\\
0 & 0 & 1 & 1\\
0 & 0 & 0 & \alpha^3+\alpha^2
\end{array}\right].$$ The bottom right entry has to be $0$, so since $\alpha\neq 0$ by assumption, we need $\alpha=-1$, giving us $$\left[\begin{array}{ccc|c}
1 & 0 & 0 & 0\\
0 & 1 & 0 & 0\\
0 & 0 & 1 & 1\\
0 & 0 & 0 & 0
\end{array}\right].$$
Por lo tanto, los dos valores de $\alpha$ que le dan al sistema una solución son las $\alpha=0$$\alpha=-1$, y en ambos casos, el sistema tiene solución $x_1=x_2=0$, $x_3=1$. (Creo que todos mis cálculos son correctos, pero me gustaría recomendar doble comprobación de las mismas.)
La gran ventaja de que el factor determinante es que le ahorra tiempo y esfuerzo, ya que usted lo ha calculado. Si asumimos que el $\alpha$ es una constante que nos da una solución, entonces ya que estamos tratando con $4$ ecuaciones en sólo $3$ variables, se tiene que tener al menos una de las filas en la reducción de la forma escalonada de la matriz ampliada ser todo lo $0$s-simplemente, no tienen los suficientes grados de libertad de otra manera. El determinante de la reducción de la matriz, a continuación, ser $0$, y dado que obtenemos por invertible operaciones de fila en la matriz original, entonces el determinante de la matriz original debe también ser $0$.
Por su trabajo anterior, a continuación, $-\alpha^3(\alpha-1)(1+\alpha)=0$, por lo que los únicos valores posibles de $\alpha$ que nos puede dar una posible solución del sistema son $\alpha=0$, $\alpha=-1$, y $\alpha=1$. Simplemente revise el sistema en cada caso para ver si en realidad es solucionable. Si $\alpha=0$, podemos obtener fácilmente la $x_1=x_2=0$, $x_3=1$ como la única solución; lo mismo para $\alpha=-1$. Sin embargo, si la ponemos a $\alpha=1$, entonces la segunda ecuación se convierte en $$x_1+x_2+x_3=1,$$ but the fourth equation becomes $$x_1+x_2+x_3=-1,$$ so $\alfa=1$ ¿ no nos dan una solución del sistema.