Suponemos que $p^2<1$ .
Primero observe que $$ 2I^{\prime} (p)=\!\!\int^{\pi}_{0}\!\! \frac{2\sin x \sin (nx)}{1+p^2-2p \cos x}dx =\!\!\int^{\pi}_{0}\!\! \frac{\cos((n-1)x)}{1+p^2-2p \cos x}dx-\!\!\int^{\pi}_{0}\!\! \frac{\cos((n+1)x)}{1+p^2-2p \cos x}dx. \tag1 $$ Entonces, por el cambio de variable $t=\tan (x/2)$ se obtiene $$ \int^{\pi}_{0} \frac{1}{1+p^2-2p \cos x}\:dx =\int_0^{\infty} \frac{2 \:dt}{(1-p)^2+(1+p)^2t^2}=\frac{\pi}{1-p^2}.\tag2 $$ A partir de la identidad de la suma geométrica estándar, se puede demostrar que $$ \frac{1-p^2}{1+p^2-2p \cos x}=1+2\sum_{k=1}^{n-1}p^k\cos(kx)+\frac{2\:p^n\cos(nx)}{1+p^2-2p \cos x}-\frac{2\:p^{n+1}\cos((n-1)x)}{1+p^2-2p \cos x}.\tag3 $$ Desde $\displaystyle \int^{\pi}_{0}\cos(kx)dx=0$ , para $k=1,2,\cdots$ y, a continuación, integrando $(3)$ de $x=0$ a $x=\pi$ da, utilizando $(2)$ , $$ \require{cancel} \cancel{(1-p^2)}\frac{\pi}{\cancel{(1-p^2)}}=\pi+2\:p^n\int^{\pi}_{0}\!\! \frac{\cos(nx)}{1+p^2-2p \cos x}dx-2\:p^{n+1}\int^{\pi}_{0}\!\! \frac{\cos((n-1)x)}{1+p^2-2p \cos x}dx. \tag4 $$ Desde $(4)$ deducimos $$ \int^{\pi}_{0}\!\! \frac{\cos(nx)\:dx}{1+p^2-2p \cos x}\!=\!p\!\int^{\pi}_{0}\!\! \frac{\cos((n-1)x)\:dx}{1+p^2-2p \cos x}\!=\cdots=\!p^n\!\int^{\pi}_{0}\!\! \frac{\:dx}{1+p^2-2p \cos x}=\!\frac{\pi\:p^n}{1-p^2}, \tag5 $$ utilizando $(2)$ .
Por último, desde $(5)$ , $(1)$ reescribe $$ \require{cancel} 2I^{\prime} (p)=\frac{\pi\:p^{n-1}}{1-p^2}-\frac{\pi\:p^{n+1}}{1-p^2}=\frac{\pi\:p^{n-1}}{\cancel{1-p^2}}(\cancel{1-p^2}) $$ o $$ I^{\prime} (p)=\frac{\pi}2 \:p^{n-1} $$ entonces integrando con respecto a $p$ , utilizando $I(0)=0$ obtenemos $$ I(p)=\frac{\pi}{2n} \:p^n,\quad n\geq1, $$ es decir
$$ \int^{\pi}_{0}\arctan \left(\frac{p \sin x}{1-p \cos x}\right) \sin(nx) \:dx=\frac{\pi}{2n}\: p^n,\qquad p^2<1,\, n\geq1. $$