Aquí está mi solución revisada que es más corto en el trabajo (que sigue siendo ridículamente largo). La única parte tediosa es la simplificación del integrando después de la sustitución de Weierstrass. Esquema:
Dejemos que $ y = \frac \pi 2 - x $ obtenemos
$ \begin{eqnarray} \displaystyle \int \frac{\cos y - 2}{\cos^2 y - \cos y + 1} \, dy & = & \displaystyle \int \frac{(-\sin y) + (\sin y + \cos y - 2)}{\cos^2 y - \cos y + 1} \, dy \\ & = & \int \frac{-\sin y}{\cos^2 y - \cos y + 1} \, dy + \int \frac{\sin y + \cos y - 2} {\cos^2 y - \cos y + 1} \, dy \end{eqnarray} $
La primera integral puede resolverse mediante la sustitución de $ p = -\cos y $ y luego convertirlo en la forma de $ \large\displaystyle \int \frac{ds}{a^2+s^2} = \frac1a \tan^{-1} \left( \frac sa\right) $
Para la segunda integral, utilizamos la sustitución de Weierstrass como se sugiere. Sea $ t = \tan\left( \frac y2\right) $ y el integrando se simplifica a
$ \large \frac{-6t^2+4t-2}{(t^2+1)^2} $
Aplique fracción parcial
$ \large \frac{4t}{(t^2+1)^2} - \frac6{t^2+1} + \frac4{(t^2+1)^2} $
Que se puede integrar fácilmente.
Si estoy en lo cierto, volver a sustituir todo da como resultado
$ \large \frac2{\sqrt3} \tan^{-1} \left(\frac2{\sqrt3}\sin x\right) - \frac{2(\sin x + 1)}{\tan \frac x2 + 1} - 4\cot^{-1} x + C $