Un enfoque es utilizar la integración de contornos.
Suponiendo que $0 <\alpha < \pi $ y $n \in \mathbb{Z}_{\geq 0}$ ,
$$ \begin{align}\int_{0}^{\pi} \frac{\cos nx}{1+ \cos \alpha \cos x} \, dx &= \frac{1}{2} \, \text{Re} \int_{-\pi}^{\pi} \frac{e^{inx}}{1+\cos \alpha \cos x} \, dx \\ &= \frac{1}{2} \, \text{Re} \int_{|z|=1} \frac{z^{n}}{1+ \cos \alpha \left(\frac{z+z^{-1}}{2} \right)} \frac{dz}{iz} \tag{1}\\ &= \frac{1}{\cos \alpha} \, \text{Re} \, \frac{1}{i} \int_{|z|=1} \frac{z^{n}}{z^{2}+2z \sec \alpha + 1 } \\ &= \frac{2 \pi}{\cos \alpha} \, \text{Re} \, \text{Res} \left[\frac{z^{n}}{z^{2}+2z \sec \alpha +1}, \tan \alpha - \sec \alpha \right] \\ &= \frac{2 \pi}{\cos \alpha} \, \text{Re} \, \frac{(\tan \alpha -\sec \alpha)^{n}}{2(\tan \alpha - \sec \alpha)+ 2 \sec \alpha} \tag{2}\\ &= \frac{\pi}{\sin \alpha} \left(\tan \alpha - \sec \alpha \right)^{n}.\end{align}$$
Para el caso $\alpha = \frac{\pi}{2}$ la parte derecha de la ecuación debe interpretarse como un límite.
$(1)$ Dejemos que $z=e^{ix}$ .
$(2)$ El poste en $z= -\tan \alpha - \sec \alpha$ está fuera del círculo unitario ya que $0 < \alpha < \pi$ .