Tenemos $C=-A$ y $D=-B$ Así que
$$ A(\sinh \beta - \cos \beta) + B(\cosh \beta - \sin \beta) = 0 $$
$$ A(\sinh \beta + \sin \beta) + B(\cosh \beta + \cos \beta) = 0 $$
Esto garantiza una solución si el determinante de la matriz de coeficientes es cero
$$\left|\begin{matrix} \sinh\beta - \cos\beta && \cosh\beta -\sin\beta \\ \sinh\beta + \sin\beta && \cosh\beta + \cos\beta \end{matrix}\right| = 0 $$
que, tras algunas manipulaciones, da $$ e^{-\beta} = \sin\beta - \cos \beta = \sqrt{2}\sin\left(\beta - \frac{\pi}{4}\right) $$
Puedes resolverlo gráficamente como la intersección de las dos funciones. El primer valor propio es $\beta_0 \approx 1.038415$ . Desde $e^{-\beta}$ decae rápidamente, las soluciones mayores son aproximadamente $\beta_n \sim (n+1/4)\pi $
EDITAR: No estoy seguro de si tus ecuaciones son realmente correctas. Traté de resolver para la función propia y obtuvo $$ X(x) = A\cosh \beta x + B\sinh \beta x + C\cos\beta x + D\sin\beta x $$
Y las cuatro condiciones de contorno dan $$ X(0) = A + C = 0 $$ $$ X'(0) = B + D = 0 $$ $$ X(1) = A\cosh\beta + B\sinh\beta + C\cos\beta + D\sin\beta = 0 $$ $$ X''(1) = A\cosh\beta + B\sinh\beta - C\cos\beta - D\sin\beta = 0 $$
En este caso, los valores propios satisfacen $$\left|\begin{matrix} \cosh\beta - \cos\beta && \sinh\beta -\sin\beta \\ \cosh\beta + \cos\beta && \sinh\beta + \sin\beta \end{matrix}\right| = 0 $$ o $$ \tanh \beta = \tan\beta $$
Desde $\tanh\beta$ muy rápidamente pasa a $1$ , $\beta_n \sim (n + 1/4)\pi, \ n \ge 1$ . Se trata de una aproximación muy buena; el primer cero es $\beta_1 \approx 3.9266 = 5\pi/4 - 0.0004 $
EDITAR 2: Para las funciones propias, tenemos $$ X(x) = A(\cosh\beta x - \cos\beta x) + B(\sinh\beta x - \sin\beta x) $$
donde $(A,B)$ satisfacer $$ A(\cosh\beta-\cos\beta) + B(\sinh\beta-\sin\beta) = 0 $$ $$ A(\cosh\beta+\cos\beta) + B(\sinh\beta+\sin\beta) = 0 $$
Nótese que en realidad son la misma ecuación (ya que el determinante es cero), por lo que podemos elegir cualquier par arbitrario que satisfaga una de las anteriores. Por ejemplo $A = \sinh\beta-\sin\beta$ y $-B = \cosh\beta-\cos\beta$ entonces la función propia es (hasta una constante) $$ X_n(x) = (\sinh\beta_n-\sin\beta_n)(\cosh\beta_n x - \cos\beta_n x) - (\cosh\beta_n-\cos\beta_n)(\sinh\beta_n x - \sin\beta_n x) $$
Para demostrar que estas funciones son mutuamente ortogonales, utilizamos la definición de ortogonalidad $$ \int_0^1 X_n(x) X_m(x)\ dx = 0, \ m \ne n $$
La integral es un poco liosa, pero debería reducirse a alguna expresión en términos del determinante.
EDITAR 3: Los B.C. son $X(0) = X(1) = X'(0) = X''(1) = 0$ . Utilizando la integración por partes, podemos demostrar que
\begin{align} \int_0^1 {X_m}^{(4)} X_n &= {X_m}'''X_n\Bigg|_0^1 - \int_0^1 {X_m}'''{X_n}', && X_n(0)=X_n(1)=0 \\ &= -{X_m}''{X_n}'\Bigg|_0^1 + \int_0^1 {X_m}''{X_n}'', && {X_m}''(1) = {X_n}'(0) = 0 \\ &= {X_m}'{X_n}''\Bigg|_0^1 - \int_0^1 {X_m}'{X_n}''', && {X_m}'(0) = {X_n}''(1) = 0 \\ &= -X_m{X_n}^{(4)}\Bigg|_0^1 + \int_0^1 X_m{X_n}^{(4)}, && X_m(0) = X_n(1) = 0 \end{align}
$$ \implies \int_0^1 {X_m}^{(4)}X_n - \int_0^1 X_m{X_n}^{(4)} = 0 \implies (\beta_m^4 - \beta_n^4) \int_0^1 X_mX_n = 0 $$
desde $\beta_m \ne \beta_n$ la integral debe ser $0$