Caso clásico
El Hamiltoniano que has introducido es el de un oscilador no lineal. Mientras que para un oscilador lineal el periodo no depende de la amplitud para este sí lo hace. Esto significa que la aproximación cuadrática siempre fallará para algunas amplitudes.
Si se quieren describir oscilaciones de pequeña amplitud se puede despreciar el último término.
Si quieres describir oscilaciones de cierta amplitud sustancial puedes usar el truco con $\left<x^2\right>$ . Esta aproximación funcionará bien para algunos rangos de amplitudes pero fallará para otros.
Tiene un potencial de la siguiente forma: $$ V(x) = m \cdot \Omega^2(x) \cdot x^2; $$ y quiero sustituirlo por éste: $$ \overline{V}(x) = m \cdot \overline{\Omega}^2 \cdot x^2. $$ La frecuencia media para el potencial simétrico se puede encontrar con la siguiente fórmula: $$ \frac{2\pi}{\overline{\Omega}} = \sqrt{2m}\int_0^A \frac{dx}{\sqrt{V(A)-V(x)}} \qquad (1) $$ donde $A$ es la amplitud de las oscilaciones. No es más que la integral sobre la mitad del periodo de una de las ecuaciones de Hamilton: $$ \frac{dx}{dt} = \frac{p(x)}{m} $$ donde $p(x)$ se determina a partir de la ley de conservación de la energía: $H(p,x)=\text{const}$ .
La fórmula (1) da el valor exacto de la frecuencia para la amplitud $A$ . Si no quieres tratar con integrales puedes suponer $\left<x^2\right>=\frac{1}{2}A^2$ (esto es cierto para los armónicos $x$ ). Esta es una aproximación menos exacta.
Caso de Quantum
El método discutido anteriormente puede ser utilizado aquí para los estados superiores del oscilador donde la aproximación cuasiclásica funciona bien incluso para un oscilador no lineal.
En cuanto a los estados inferiores, la energía del estado básico es finita y si $\lambda$ es lo suficientemente grande como para no descuidarlo. Puedes encontrar Teoría de la Perturbación útil en este caso.