Sugerencia:
El sistema en forma matricial queda:
$$
\dfrac{d \vec x(t)}{dt}=
\begin{bmatrix}
0&2&-1\\
3&0&-2\\
5&-4&0
\end{bmatrix} \vec x(t)= a \vec x(t)
$$
y la solución general puede ser dado en forma exponencial:
$$
\vec x(t)=\vec c\,e^{tA}
$$
donde $\vec c$ es un vector constante (que puede ser determinada si conocemos las condiciones iniciales) y $e^{tA}$ es la exponencial de la matriz ( ver aquí).
El cálculo de la exponencial de la matriz es relativamente fácil si la matriz es diagonalizable. En este caso, si $A=PDP^{-1}$ $e^A=e^{PDP^{-1}}=Pe^DP^{-1}$ donde $ e^D$ es la matriz diagonal que tiene como elementos de la diagonal de la exponenciales de los elementos de la diagonal de a $D$.
Puedes ver un ejemplo aquí.