He aquí un enfoque en el que no simplificamos antes la integral pasar a variables complejas.
Supongamos que queremos evaluar $$\int_0^{2\pi} \frac{\sin^2 x}{a+b\cos x} dx.$$
Ponga $z=e^{ix}$ para que $dz = i e^{ix} \; dx = iz \; dx$ y utilizar $$\cos x = \frac{e^{ix}+e^{-ix}}{2} \quad\text{and}\quad \sin x = \frac{e^{ix}-e^{-ix}}{2i}$$
para obtener $$- \int_{|z|=1} \frac{(z-1/z)^2/4}{a+b(z+1/z)/2} \frac{1}{iz} dz = i \int_{|z|=1} \frac{(z-1/z)^2/4}{bz^2/2 + az + b/2} \; dz \\ = i \int_{|z|=1} \frac{1}{4z^2} \frac{z^4-2z^2+1}{bz^2/2 + az + b/2} \; dz.$$
Los dos polos están en $$\rho_{1,2} = \frac{-a\pm\sqrt{a^2-b^2}}{b} = \frac{a}{b} \left(-1\pm\sqrt{1-b^2/a^2}\right).$$
Hay otro poste en $z=0$ con residuos $$\frac{1}{4} \left.\frac{4z^3-4z}{bz^2/2 + az + b/2} - \frac{1}{4} \frac{z^4-2z^2+1}{(bz^2/2 + az + b/2)^2} (bz+a)\right|_{z=0} = - \frac{a}{b^2}.$$
Ahora hay varias posibilidades aquí, discutimos dos de ellas.
Primer escenario. Supongamos que $a$ y $b$ son reales y $a\le b.$ Obtenemos
$$|\rho_{1,2}| =\left| \frac{-a\pm i\sqrt{b^2-a^2}}{b}\right| = \sqrt{\frac{a^2}{b^2}+\frac{b^2-a^2}{b^2}} = 1.$$
Esto significa que los dos polos se encuentran precisamente en el contorno circular así que lo mejor que podemos esperar es obtener el Valor Principal de Cauchy de la de la integral. Se trata de polos simples, por lo que la contribución es la mitad del residuo para ambos polos. Ahora calculamos estos residuos.
$$\mathrm{Res}_{z=\rho_{1,2}} \frac{1}{4z^2} \frac{z^4-2z^2+1}{bz^2/2 + az + b/2} = \frac{(\rho_{1,2}^2-1)^2}{4\rho_{1,2}^2} \frac{1}{b\rho_{1,2} + a}.$$
Ahora tenemos por definición que $$\rho_{1,2}^2 = -2a\rho_{1,2}/b - 1 \quad\text{and hence}\quad \frac{\rho_{1,2}^2-1}{\rho_{1,2}} = -2\frac{a}{b} - \frac{2}{\rho_{1,2}}.$$
Además $$- \frac{1}{\rho_{1,2}} = 2\frac{a}{b} + \rho_{1,2} \quad\text{and therefore}\quad \frac{\rho_{1,2}^2-1}{\rho_{1,2}} = 2\frac{a}{b} + 2\rho_{1,2}.$$
Cuadra esto para obtener
$$4\frac{a^2}{b^2} + 8 \frac{a}{b}\rho_{1,2} + 4\rho_{1,2}^2 \\ = 4\frac{a^2}{b^2} + 8 \frac{a}{b}\rho_{1,2} -8\frac{a}{b}\rho_{1,2} - 4 = 4\frac{a^2}{b^2} - 4.$$
Finalmente se obtiene para los dos residuos
$$\left(\frac{a^2}{b^2} - 1\right)\frac{1}{b\rho_{1,2}+a} = \pm \frac{a^2-b^2}{b^2} \frac{1}{\sqrt{a^2-b^2}} = \pm \frac{\sqrt{a^2-b^2}}{b^2}.$$
Recordemos que actualmente estamos evaluando el caso en el que ambos polos son en el contorno. Por tanto, obtenemos para el valor
$$i\times 2\pi i \times \left(-\frac{a}{b^2} + \frac{1}{2} \frac{\sqrt{a^2-b^2}}{b^2} - \frac{1}{2} \frac{\sqrt{a^2-b^2}}{b^2}\right) = \frac{2\pi a}{b^2}.$$
Segundo escenario. Por otra parte, cuando $a\gt b$ ponemos $b/a=q$ con $0\lt q\lt 1$ un número real positivo. Obtenemos
$$\rho_{1,2} = \frac{1}{q} \left(-1 \pm \sqrt{1-q^2}\right).$$
Nótese, sin embargo, que con la determinación positiva de la raíz cuadrada que hemos estado utilizando tenemos que $-1-\sqrt{1-q^2} \lt -1$ y $1/q \gt 1$ por lo que su producto es un real negativo menor que $-1.$ Por lo tanto $\rho_2$ no está dentro del contorno. Ahora
$$\rho_1\rho_2 = \frac{(-a)^2-(a^2-b^2)}{b^2} = 1$$
y por lo tanto $\rho_1$ es la inversa de $\rho_2.$ Con $|\rho_2|>1$ we obtenemos $|\rho_1|<1.$ Por lo tanto, el polo en $\rho_1$ es el único de los dos dentro del contorno y obtenemos
$$i\times 2\pi i \times \left(-\frac{a}{b^2} + \frac{\sqrt{a^2-b^2}}{b^2}\right) = \frac{2\pi}{b^2} \left(a-\sqrt{a^2-b^2}\right).$$
Se dejan otras hipótesis al lector.