Existe una forma de obtener directamente la solución completa. Ayuda que todas nuestras raíces sean reales. Hay una manera de "factorizar" el lado izquierdo como un polinomio. Este método intenta obtener la ecuación en la forma
$$z'+az=f(x)$$
que puede resolverse mediante el uso de un factor integrador.
Ya sabes que el polinomio característico es $(r-5)(r+1)(r-1)$ que reescribiré como $(r-5)(r^2-1)$ . Ahora dejemos que $z=y''-y$ que como verás tiene el polinomio característico $r^2-1$ . Ahora se puede reescribir la ecuación original.
$$y'''-y'-5y''+5y=(y''-y)'-5(y''-y)=z'-5z=3e^{-x}$$
Observarás que el polinomio característico de esta ecuación en $z$ corresponde al otro factor $r-5$ . Por supuesto, esto se resuelve multiplicando por el factor integrador $e^{-5x}$
$$e^{-5x}z'-5e^{-5x}z=(e^{-5x}z)'=3e^{-6x}$$ $$e^{-5x}z=-\frac12e^{-6x}+k_1$$ $$z=-\frac12e^{-x}+k_1e^{-5x}$$
Mientras no pongamos nuestra ecuación en la forma
$$u'+u=f(x)$$
el $e^{-x}$ no se anulará antes de la integración e introducirá un $xe^{-x}$ lo que complicaría la integración posterior. Así que ahora tenemos
$$z=y''-y=-\frac12e^{-x}+k_1e^{-5x}$$
De nuevo, elegimos una sustitución basada en un factor del polinomio característico. Para evitar el problema antes mencionado, hacemos la sustitución $u=y'+y$ . El resultado es
$$y''-y=(y'+y)'-(y'+y)=u'-u=-\frac12e^{-x}+k_1e^{-5x}$$ $$e^{-x}u'-e^{-x}u=(e^{-x}u)'=-\frac12e^{-2x}+k_1e^{-6x}$$ $$e^{-x}u=\frac14e^{-2x}+k_2e^{-6x}+k_3,k_2=-\frac{k_1}6$$ $$u=y'+y=\frac14e^{-x}+k_2e^{-5x}+k_3e^x$$
Y finalmente podemos resolver para $y$ .
$$e^xy'+e^xy=(e^xy)'=\frac14+k_2e^{-4x}+k_3e^{2x}$$ $$e^xy=\frac14x+k_4e^{-4x}+k_5e^{2x}+k_6$$ $$y=\frac14xe^{-x}+k_4e^{-5x}+k_5e^x+k_6e^{-x}$$