Voy a presentar una justificación de la elección de la solución particular y su relación con la función de entrada $g(x)$ - RHS; y luego voy a discutir el caso que usted proporcionó.
Obsérvese que el método general de coeficientes indeterminados se limita a las ED lineales no homogéneas con coeficientes constantes. Dado que la función de entrada $g(x)$ resulta de aplicar el operador diferencial polinómico $L$ a la solución particular $y_p$ es razonable que la función de entrada sea igual a una combinación lineal formada por $y_p$ y sus derivadas--por combinación lineal me refiero a multiplicar cada término por una constante y sumar los resultados. Esto es posible porque los coeficientes de la DE son constantes. El método es exclusivo para los casos en que $g(x)$ es un polinomio, una exponencial, un seno, un coseno o una combinación aritmética de ellos mediante adición, sustracción y/o multiplicación.
La ED que nos has proporcionado es con coeficientes no costantes, sería erróneo aplicar el método de los coeficientes indeterminados en este caso. Sin embargo, como contraejemplo vamos a intentar utilizar el método aquí. $$(x + 1)y'' + xy' - y = x^2 + 2x + 1.$$
Según el método que suponemos:
$$y_p = Ax^2 + Bx + C,$$ por lo que tenemos $y_p' = 2Ax + B$ y $y_p'' = 2A$ . Los sustituimos en el DE para obtener: $$(x + 1)\cdot 2A + x(2Ax + B) - Ax^2 - Bx - C = x^2 + 2x + 1,$$ $$Ax^2 + 2Ax + (2A - C)= x^2 + 2x + 1.$$ Como se puede ver, cuando comparamos los coeficientes de $x$ en ambos lados para averiguar los valores de $A, B$ y $C$ ; nos encontramos con que $B$ se deja caer en el LHS y nunca podemos encontrar su valor.
**Nota la diferencia entre mi sustitución y la tuya: He utilizado $A$ en lugar de $c$ y $C$ en lugar de $a$ Es una cuestión de costumbre, por supuesto.
No he podido entender del todo tu última frase. Si no estás satisfecho con el proceso de asumir los coeficientes y comparar el LHS con el RHS para encontrar sus valores, puedes utilizar el método de variación de parámetros. Sin embargo, la variación de parámetros requiere que conozcas la función complementaria $y_c$ primero.
Debido a que los coeficientes de la ecuación dada son no-costables, es necesario utilizar alguna sustitución o la Transformada de Laplace para resolver la DE homogénea asociada.
Espero que mi respuesta arroje algo de luz sobre su problema. Saludos cordiales, Khalid Adel.