$$y''-a\:y^2=0\quad\to\quad 2y''y'-2a\:y^2y'=0$$ $$y'^2-\frac{2a}{3}y^3=c_1$$ $$y'=\pm \sqrt{c_1+\frac{2a}{3}y^3}$$ $$dx=\pm\frac{dy}{\sqrt{c_1+\frac{2a}{3}y^3}}\quad\to\quad x=\pm\int \frac{dy}{\sqrt{c_1+\frac{2a}{3}y^3}}$$ Esta integral implica las funciones elípticas, lo que sería bastante arduo.
Por suerte, veremos más adelante que las condiciones de contorno especificadas no son suficientes, lo que significa que son una infinidad de soluciones. Si queremos encontrar fácilmente no todas las soluciones, sino una sola solución, podemos tomarnos la libertad de elegir arbitrariamente $c_1$ por ejemplo $c_1=0$ . Esto supone implícitamente que $\quad y(x\to\infty)\to 0.\quad$ En este caso concreto : $$x=\pm\sqrt{\frac{3}{2a}}\int \frac{dy}{y^{3/2}}=\pm\sqrt{\frac{6}{a\:y}}+c_2$$ $$y=\frac{6}{a(x-c_2)^2}$$ $$y'=-\frac{12}{a(x-c_2)^3}$$ Vemos que la condición $\lim_{x\to\infty } y'(x)=0$ se cumple.
Condición $\quad y(0)=b=\frac{6}{a(-c_2)^2} \quad\to\quad c_2=\pm \sqrt{\frac{6}{ab}}. \quad$ El signo menos se elige para evitar una discontinuidad para $y(x)$ en $x=\sqrt{\frac{6}{ab}}$ $$y(x)=\frac{6}{a\left(x+\sqrt{\frac{6}{ab}}\right)^2}$$ Vemos que se obtiene una solución que satisface la EDO y las condiciones de boudbary especificadas incluso si la constante $c_1$ se eligió arbitrariamente. Esto demuestra que las condiciones especificadas en el enunciado del problema son insuficientes para definir una solución única. La solución anterior es sólo una entre la infinidad de soluciones. Pero probablemente sea la más sencilla.