Como Adrian sugiere, vamos a $y'=z$, para obtener la ecuación de segundo orden
$$
z"+\, (z')^2+b\,z^3=0.
$$
Dado que la variable independiente $t$ no aparecen de forma explícita en la ecuación (estoy asumiendo $a$ $b$ son constantes), nos vamos a
$$
z'=p,\quad z"=\frac{dp}{dt}=\frac{dp}{dz}\,\frac{dz}{dt}=p\,\frac{dp}{dz}.
$$
Esto da la ecuación del primer orden
$$
p\,\frac{dp}{dz}+\, p^2+b\,z^3=0,
$$
el que escribe como
$$
\frac{dp}{dz}= -\, p-b\,z^3\,p^{-1}
$$
es una ecuación de Bernoulli. Para solucionarlo, vamos a $u=p^2$. Esto da la ecuación lineal
$$
\frac{du}{dz}= -\, u-b\,z^3.
$$
No he hecho los cálculos, pero mi impresión es que usted no será capaz de obtener una solución explícita en términos de funciones elementales.