En el siguiente suponemos que $n\geq 1$.
Gracias a la paridad, la integral se puede escribir como
\begin{align}
I_n=\int_0^{2\pi}\frac{dx}{(a^2\cos^2x+b^2\sin^2 x)^n}&=2\int_0^{\pi}\frac{dx}{(a^2\cos^2x+b^2\sin^2 x)^n}=\\
&=2\int_0^{\pi}\frac{dx}{(\frac{a^2+b^2}{2}+\frac{a^2-b^2}{2}\cos 2x)^n}=\\
&=\frac{1}{i}\oint_{|z|=1}\frac{z^{-1}dz}{(\frac{a^2+b^2}{2}+\frac{a^2-b^2}{2}\frac{z+z^{-1}}{2})^n}=\\
&=\frac{2^{2n}}{(a^2-b^2)^n}\frac{1}{i}\oint_{|z|=1}\frac{z^{-1}dz}{(z+z^{-1}-c-c^{-1})^n}=\\
&=\frac{2^{2n}}{(a^2-b^2)^n}\frac{1}{i}\oint_{|z|=1}\frac{z^{n-1}dz}{(z-c)^n(z-c^{-1})^n}
\end{align}
donde el parámetro de $c$ es definida por la ecuación
$$c+c^{-1}=2\frac{b^2+a^2}{b^2-a^2}.$$
En particular, se puede (y será) set $\displaystyle c=\frac{b-a}{b+a}$. Ahora para $b>a>0$ el punto de $z=c$ está dentro, y $z=c^{-1}$ fuera del círculo unidad. Por lo tanto, por los residuos,
\begin{align}
I_n&=2\pi\cdot\frac{2^{2n}}{(a^2-b^2)^n}\cdot\mathrm{res}_{z=c}\frac{z^{n-1}}{(z-c)^n(z-c^{-1})^n}=\\
&=\frac{2\pi}{(n-1)!}\cdot\frac{2^{2n}}{(a^2-b^2)^n}\cdot\left[\frac{d^{n-1}}{dz^{n-1}}
\frac{z^{n-1}}{(z-\frac{b+a}{b-a})^n}\right]_{z=\frac{b-a}{b+a}}
\end{align}
En particular,
\begin{align}
I_1&=\frac{2\pi}{ab},\\
I_2&=\frac{\pi(a^2+b^2)}{a^3b^3},\\
I_3&=\frac{\pi(3a^4+2a^2b^2+3b^4)}{4a^5b^5},\\
&\ldots
\end{align}
Explícito de cálculo (RGB)
Podemos calcular el residuo de forma explícita utilizando la fórmula binominal.
Tenemos que $$z^{n-1}=c^{n-1}\left(1+\frac{z-c}{c}\right)^{n-1}=\sum_{k=0}^{\infty}\binom{n-1}{k}\frac{(z-c)^k}{c^{k-n+1}},$$
y que $$(z-c^{-1})^{-n}=(c-c^{-1})^{-n}\left(1+\frac{z-c}{c-c^{-1}}\right)^{-n}=\sum_{k=0}^{\infty}\binom{-n}{k}\frac{(z-c)^k}{\left(c-c^{-1}\right)^{k+n}}.$$
Multiplicamos estas dos para obtener una serie de $\sum_{k=0}^{\infty}A_k(z-c)^k$. Necesitamos entonces dividir por $(z-c)^n$ y obtener el coeficiente del término con el grado $-1$. Este será el coeficiente de $A_{n-1}$.
Utilizando la fórmula para el producto de dos series obtenemos
$$A_{n-1}=\sum_{r=0}^{n-1}\frac{\binom{n-1}{r}}{c^{r-n+1}}\frac{\binom{-n}{n-1-r}}{\left(c-c^{-1}\right)^{2n-r-1}}.$$
Finalmente llegamos $$I_n=2\pi\cdot\frac{2^{2n}}{(a^2-b^2)^n}\cdot\sum_{r=0}^{n-1}\frac{\binom{n-1}{r}}{c^{r-n+1}}\frac{\binom{-n}{n-1-r}}{\left(c-c^{-1}\right)^{2n-r-1}}.$$
Explícito de computación II (O. L.)
Vamos a escribir
$$\frac{z^{n-1}}{(z-c^{-1})^n}=\frac{((z-c^{-1})+c^{-1})^{n-1}}{(z-c^{-1})^n}=\sum_{k=0}^{n-1}{n-1\choose k}c^{k+1-n}(z-c^{-1})^{k-n}$$
Tenemos que calcular $(n-1)$th derivada de esta expresión y, a continuación, evaluar en $z=c$. Esto le da a la fórmula
$$I_n=2\pi\cdot\frac{2^{2n}}{(a^2-b^2)^n}\cdot\sum_{k=0}^{n-1}(-1)^{n-1}{n-1\choose k}{2n-2-k\choose n-1}c^{k+1-n}(c-c^{-1})^{k-2n+1}$$
que es equivalente a la de RGB.