No hay nada malo en su ecuación. Vamos a pensar en ello de una manera diferente:
Su solución es $$ v(x) = c_1 + c_2 x + c_3 \cos(\lambda x) + c_4 \sin(\lambda x) $$ donde $\lambda = \sqrt{\frac{P}{E I_x}}$ .
Y sus condiciones de contorno establecen que \begin{align} v(0) &= c_1 + c_3 = 0\\ v(l) &= c_1 + c_2 l + c_3 \cos(\lambda l) + c_4 \sin(\lambda l) = 0\\ v'(0) &= c_2 + c_4 \lambda = 0\\ v'(l) &= c_2 - c_3 \lambda \sin(\lambda l) + c_4 \lambda \cos(\lambda l) = 0 \end{align}
Una forma fácil de ver lo que ocurre es escribir el sistema en su representación matricial:
$$ \begin{pmatrix} 1 & 0 & 1 & 0 \\ 1 & l & \cos(\lambda l) & \sin(\lambda l)\\ 0 & 1 & 0 & \lambda\\ 0 & 1 & -\lambda \sin(\lambda l) & \lambda \cos(\lambda l) \end{pmatrix} \begin{pmatrix} c_1 \\ c_2 \\ c_3 \\ c_4\end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \\ 0\end{pmatrix} $$
De hecho, una posibilidad para resolver el sistema es $c_1 = c_2 = c_3 = c_4 = 0$ , lo que conduce a la solución trivial. Sin embargo, hay otra posibilidad, si el determinante de la matriz es igual a cero, entonces hay soluciones no triviales a la ecuación lineal.
Por supuesto, el determinante de la matriz -que llamaré $M$ -, depende de $\lambda$ es decir $$ \det M(\lambda) = \lambda \big(\lambda l \sin(\lambda l) + 2 \cos(\lambda l) -2\big) $$ Por lo tanto, si $$\tag{*} \lambda \big(\lambda l \sin(\lambda l) + 2 \cos(\lambda l) -2\big) = 0 $$ entonces hay soluciones no triviales al problema de valor límite.
Echemos un vistazo a $\lambda$ . La letra griega depende del módulo de flexión $E I_x$ de la barra, y la fuerza $P$ ejercida sobre ella. Evidentemente, a menos que se añada masa, se cambie la composición química o se modifique el área de la barra, el módulo de flexión es constante (algunos libros lo denotan por $B$ ), y la única forma de modificar el valor de $\lambda$ es cambiar la fuerza que actúa sobre la barra. Dicho esto, volvamos a la ecuación $(*)$ . La solución más obvia para ello es cuando $\lambda = 0$ , ( $P = 0$ ). Se trata de una barra sujeta, sin fuerza transversal alguna. En este caso, la barra está sin deformar (es decir $v(x) = 0$ ).
$\hskip1.5in$
La flecha roja indica la fuerza $P$ .
Una buena pregunta sería si esta es la única solución. Para responderla, debemos mirar de nuevo la ecuación $(*)$ . Si $\lambda \neq 0$ entonces la condición para tener soluciones no triviales es que $$ \lambda l \sin(\lambda l) + 2 \cos(\lambda l) -2 = 0 $$ que puede escribirse como $$ \lambda l \sin(\lambda l) - 4 \sin^2\big(\tfrac{\lambda l}{2}\big) = 0. $$ Esta ecuación no tendrá solución para todos los valores de $\lambda > 0$ . De hecho, la única manera de tener una solución es si ambos senos son cero simultáneamente (demuéstrelo), lo que significa que $\lambda = \frac{2\pi n}{l}$ , donde $n = 1,\,2,\,...\,$ . En cuanto a la fuerza, existen soluciones no triviales al problema si $$ P = \frac{4 \pi^2 n^2 E I_x}{l^2}. $$
¿Qué lectura hacer de todo esto?
Suponga que tiene una barra sujeta con pinzas sin ningún tipo de tensión ( $P = 0$ ) y empieza a aplicar presión en un extremo empujando la pared. Sabes que la única solución para $ 0 \le P < \frac{4 \pi^2 E I_x}{l^2}$ es el trivial. Cuando se alcanza el umbral $P = \frac{4 \pi^2 E I_x}{l^2}$ hay otras dos soluciones $$ v(x) = \pm A\Big(\cos\big(\tfrac{2\pi}{l} x\big) - 1\Big) $$ donde $A$ es una amplitud determinada.
$\hskip1.5in$
El signo que tomará la solución sólo puede determinarse en condiciones reales (donde la inhomogeneidad jugará un papel importante).
El primer pandeo se producirá en $P_1 = \frac{4 \pi^2 E I_x}{l^2}$ . En términos de ingeniería, esta será la cantidad de carga que una columna puede soportar antes de ceder (suponiendo que lineal comportamiento).
Si seguimos aplicando fuerza, alcanzaremos un segundo umbral $P_2 = \frac{8 \pi^2 E I_x}{l^2}$ . El segundo pandeo:
$\hskip1.5in$
Y así sucesivamente.
Lo que hay detrás de todo este fenómeno es la teoría de Valores propios y vectores propios para las EDO, que realmente deberías aprender si quieres entender una gran parte de las matemáticas y la física. Si quieres aprender más sobre esto, puedes consultar Churchill y Brown Series de Fourier y problemas de valores límite para una buena introducción al tema.
Para una exposición exhaustiva del problema del pandeo, le recomiendo que lea Tratado sobre la teoría matemática de la elasticidad por A. E. H. Love.
Por último, te insto a que hagas todos los cálculos por ti mismo. No puedo afirmar que haya comprobado mi álgebra. Sin embargo, la idea principal es correcta.