El uso de $z=e^{ix}$, obtenemos
$$
\begin{align}
\int_0^\pi\frac{\sin(nx)\sin(x)}{\cos(x)+a}\,\mathrm{d}x
&=\frac12\int_0^{2\pi}\frac{\sin(nx)\sin(x)}{\cos(x)+a}\,\mathrm{d}x\\
&=-\frac12\mathrm{Im}\left(\oint z^n\frac{z-\frac1z}{z+\frac1z+2a}\frac{\mathrm{d}z}{z}\right)\\
&=-\frac12\mathrm{Im}\left(\oint z^{n-1}\frac{z^2-1}{z^2+2az+1}\,\mathrm{d}z\right)\\
\end{align}
$$
La integral diverge para $|a|\lt1$, por lo que asumir que $a\gt1$, al señalar que la integral es impar en $a$.
La singularidad en el interior del círculo unidad de el integrando de arriba es en $z=-a+\sqrt{a^2-1}$.
El uso de los residuos, se obtiene la integral a
$$
-\pi\left(-a+\sqrt{a^2-1}\right)^n=\frac{(-1)^{n+1}\pi}{\left(a+\sqrt{a^2-1}\right)^n}
$$
Si sustituimos $n\mapsto2n$, obtenemos la misma respuesta como Raymond Manzoni.
Como Raymond Manzoni comentarios, ya $\sin(nx)\sin(x)$ se desvanece a fin de $2$ al $\cos(x)+1$ se desvanece, no es difícil mostrar la convergencia uniforme como $a\to1^+$ y esto nos permite plug $a=1$ en la fórmula, dando a $(-1)^{n+1}\pi$$a=1$.