Usted puede escribir $b-au-u^2=\frac{a^2+4b}{4}-(u+\frac a2)^2$
Así pues, hay tres casos a considerar
A. $a^2+4b=0$
Entonces su integral es
$$\int\frac{\mathrm{d}u}{b-au-u^2}=-\int\frac{\mathrm{d}u}{(u+\frac a2)^2}=\frac{1}{u+\frac a2}+C$$
B. $a^2+4b>0$
El trinomio $b-au-u^2$ tiene dos raíces reales $\alpha,\beta$
$$\alpha=\frac{-a+\sqrt{a^2+4b}}{2}$$
$$\beta=\frac{-a-\sqrt{a^2+4b}}{2}$$
Parcial de la fracción de la descomposición de los rendimientos
$$\frac{1}{b-au-u^2}=\frac{1}{\beta-\alpha}\frac{1}{u-\alpha}-\frac{1}{\beta-\alpha}\frac{1}{u-\beta}$$
Por lo tanto
$$\int\frac{\mathrm{d}u}{b-au-u^2}=\frac{1}{\beta-\alpha}\int \left(\frac{1}{u-\alpha}-\frac{1}{u-\beta}\right)\,\mathrm{d}u=\frac{1}{\beta-\alpha}\ln \left|\frac{u-\alpha}{u-\beta}\right|+C$$
C. $a^2+4b<0$
El trinomio $b-au-u^2$ tiene dos raíces complejas. Vamos a aplicar el cambio de variable $u=\lambda t$$\lambda=\frac12\sqrt{|a^2+4b|}$:
$$\int\frac{\mathrm{d}u}{b-au-u^2}=\int\frac{\mathrm{d}u}{\frac{a^2+4b}{4}-(u+\frac a2)^2}=\int \frac{\lambda\,\mathrm{d}t}{-\lambda^2-(\lambda t+\frac a2)^2}\\=-\frac1\lambda\int \frac{\mathrm{d}t}{1+(t+\frac a{2\lambda})^2}=-\frac1\lambda\mathrm{Arctan}\left(t+\frac{a}{2\lambda}\right)+C\\=-\frac{2}{\sqrt{|a^2+4b|}}\mathrm{Arctan}\left(\frac{2u+a}{\sqrt{|a^2+4b|}}\right)+C$$
Hay otra solución en el caso de $a^2+4b>0$
Vamos a aplicar el cambio de variable $u=\lambda t$$\lambda=\frac12\sqrt{a^2+4b}$:
$$\int\frac{\mathrm{d}u}{b-au-u^2}=\int\frac{\mathrm{d}u}{\frac{a^2+4b}{4}-(u+\frac a2)^2}=\int \frac{\lambda\,\mathrm{d}t}{\lambda^2-(\lambda t+\frac a2)^2}\\=\frac1\lambda\int \frac{\mathrm{d}t}{1-(t+\frac a{2\lambda})^2}=\frac1\lambda\mathrm{Argth}\left(t+\frac{a}{2\lambda}\right)+C\\=\frac{2}{\sqrt{a^2+4b}}\mathrm{Argth}\left(\frac{2u+a}{\sqrt{a^2+4b}}\right)+C$$
Es válido si $\left|\frac{2u+a}{\sqrt{a^2+4b}}\right|<1$. Fuera de este intervalo, la integral es el lugar
$$\frac{2}{\sqrt{a^2+4b}}\mathrm{Argcoth}\left(\frac{2u+a}{\sqrt{a^2+4b}}\right)+C$$
Observe que $\mathrm{Argth} x=\frac12\ln\frac{1+x}{1-x}$, definido por $|x|<1$, mientras que de $\mathrm{Argcoth} x=\frac12\ln\frac{x+1}{x-1}$, definido por $|x|>1$. Su derivada es la misma, $\frac{1}{1-x^2}$.