Primero agregar la restricción $n >m$. Esto puede ser posteriormente eliminado por medio de continuación analítica.
A continuación, $$ \begin{align} \int_{-\pi /2}^{\pi /2} (\cos x)^{m} e^{inx} \ dx &= \int_{- \pi /2}^{\pi /2} (\cos x)^{m} \cos(nx) \ dx \\ &= \text{Re} \int_{- \pi/2}^{\pi /2} \left( \frac{e^{ix}+e^{-ix}}{2} \right)^{m} e^{inx} \ dx \\ &= \frac{1}{2^{m}} \text{Re} \frac{1}{i} \int_{C} (z+z^{-1})^{m} z^{n-1} \ dz \\ &= \frac{1}{2^{m}} \text{Re} \frac{1}{i} \int_{C} \left(z^{2}+1 \right)^{m} z^{n-m-1} \ dz \\ &= \frac{1}{2^{m}} \text{Re} \frac{1}{i} \int_{C} f(z) \ dz \end{align}$$
donde $C$ es la mitad derecha de la unidad de círculo atravesado en sentido antihorario con un cuarto de círculo hendiduras alrededor de los puntos de ramificación en$z=-i$$z=i$.
Tiene la rama de corte para $f(z)$ corriendo por el eje imaginario de $z=i$ y definen $f(z)$ a ser un valor real en el eje real positivo.
Ahora hay que cerrar el contorno con una línea vertical de un segmento a la derecha de $[-i,i]$ con la mitad de un círculo de sangría alrededor del punto de ramificación en $z=0$.
Justo a la derecha de la rama de corte y sobre el origen,
$$f(z) = |z^{2}+1|^{m} |z|^{n-m-1} e^{i \pi /2(n-m-1)} .$$
Mientras que justo a la derecha de la rama de corte y por debajo del origen y por encima de $z=-i$,
$$f(z) =|z^{2}+1|^{m} |z|^{n-m-1} e^{-i \pi /2(n-m-1)} .$$
Y debido a la mayor restricción, las aportaciones de los tres hendiduras se desvanecen en el límite.
Por ejemplo, alrededor de $z=0$,
$$ \Big| \int_{\pi/2}^{- \pi/2} f(re^{it}) \ i r e^{it} \ dt \Big| \le \pi \ (r^{2}+1)^{m} r^{n-m}$$
que se desvanece como $r \to 0$ desde $n>m$.
Luego va todo el contorno,
$$ \int_{C} f(z) \ dz + e^{i \pi /2 (n-m-1)}\int_{1}^{0} \left| (te^{i \pi /2})^{2} +1 \right|^{m} |te^{ i \pi /2}|^{n-m-1} e^{ i \pi /2} \ dt $$
$$+ \ e^{-i \pi /2 (n-m-1)}\int_{0}^{1} \left| (te^{-i \pi /2})^{2} +1 \right|^{m} |te^{ -i \pi /2}|^{n-m-1} e^{ -i \pi /2} \ dt = 0 $$
lo que implica
$$ \begin{align} \int_{C} f(z) \ dz &= e^{ i \pi /2 (n-m)} \int_{0}^{1} (1-t^{2})^m t^{n-m-1} \ dt - e^{- i \pi /2 (n-m)} \int_{0}^{1} (1-t^{2})^{m} t^{n-m-1} \ dt \\ &= 2 i \sin \left( \frac{\pi}{2} (n-m) \right) \int_{0}^{1} (1-t^{2})^{m} t^{n-m-1}\ dt \\ &= i \sin \left( \frac{\pi}{2} (n-m) \right) \int_{0}^{1} (1-u)^{m} u^{n/2-m/2-1} \ du \\ &= i \sin \left( \frac{\pi}{2} (n-m) \right) B \left( \frac{n}{2} - \frac{m}{2}, m+1 \right) \\ &= i \sin \left( \frac{\pi}{2} (n-m) \right) \frac{\Gamma(\frac{n}{2} - \frac{m}{2}) \Gamma(m+1)}{\Gamma(\frac{m}{2}+\frac{n}{2} + 1)} .\end{align}$$
A continuación, utilizando la reflexión de la fórmula para la función gamma,
$$ \int_{C} f(z) \ dz= i \pi \frac{\Gamma(m+1)}{ \Gamma(1- \frac{n}{2} + \frac{m}{2})\Gamma(\frac{m}{2}+\frac{n}{2}+1)} .$$
Por lo tanto,
$$ \begin{align} \int_{-\pi /2}^{\pi /2} (\cos x)^{m} e^{inx} \ dx &= \frac{1}{2^{m}} \text{Re} \frac{1}{i} i \pi \frac{\Gamma(m+1)}{ \Gamma(1- \frac{n}{2} + \frac{m}{2})\Gamma(\frac{m}{2}+\frac{n}{2}+1)} \\ &=\frac{\pi}{2^m} \frac{\Gamma(1+m)}{\Gamma \left(1+ \frac{m+n}{2}\right)\Gamma \left(1+ \frac{m-n}{2}\right)} . \end{align} $$