Esto puede resolverse mediante variables complejas. Pon $z = e^{i\theta}$ para obtener $$\int_0^{2\pi} \frac{d\theta}{1-a\cos\theta+a^2} = \int_{|z|=1} \frac{1}{iz} \frac{dz}{1-a/2(z+1/z)+a^2} = \int_{|z|=1} \frac{1}{iz} \frac{z dz}{z-a/2(z^2+1)+za^2} \\= -i \int_{|z|=1} \frac{dz}{z-a/2(z^2+1)+za^2}$$ Los dos polos (usar por ejemplo la fórmula cuadrática) están en $$z_{0,1} = \frac{1+a^2}{a} \pm \frac{\sqrt{1+a^2+a^4}}{a}.$$ Ahora asumamos que $a>1$, de modo que el polo correspondiente al signo más está claramente fuera del círculo unitario.
Por otro lado $$z_1 =\frac{1+a^2}{a} - \frac{\sqrt{1+a^2+a^4}}{a} < 1$$ porque es equivalente a $$ 1+a^2 -a < \sqrt{1+a^2+a^4}$$ que es $$ a^4 + 2 a^2(1-a) +(1-a)^2 < 1 + a^2 +a^4 \Leftrightarrow 2a^2 - 2a^3 + (1 - a)^2 < 1 + a^2\\ \Leftrightarrow 2a^2 < 2 a^3 + 2a \Leftrightarrow a
Ahora el residuo de la integranda en $z_1$ está dado por $$\lim_{z\to z_1} \frac{1}{1-az+a^2} = \frac{1}{1+a^2-1-a^2+\sqrt{1+a^2+a^4}} = \frac{1}{ \sqrt{1+a^2+a^4} }.$$
Se deduce que la integral es $$2\pi i \times -i \times \frac{1}{ \sqrt{1+a^2+a^4} } = \frac{2\pi}{ \sqrt{1+a^2+a^4} }.$$