Me encontré con esta integral cuando se trata de obtener una serie de Fourier para la función en el interior (en relación a esta pregunta).
Mathematica da la siguiente solución general (sólo válido para $|a|>1$), que contiene regularización de la función hipergeométrica generalizada:
$$A_n=\frac{2}{\pi} \int^{\pi}_0 \frac{\sin^2 (y)}{a+\cos(y)} \cos(ny) dy=$$
$$a=\frac{4} {- 1} \left(\, _3\tilde{F}_2\left(1,\frac{3}{2},2;2-n, n+2;-\frac{2} {- 1}\right)-3 \, _3\tilde{F}_2\left(1,\frac{5}{2},3;3-n, n+3;-\frac{2} {- 1}\right)\right)$$
Alguna información acerca de esta función en particular es de aquí. No puedo entender si las fórmulas en estas página son de carácter general o no, y si lo puedo aplicar en mi caso.
Sin embargo, espero que esta expresión sea más sencilla para los valores enteros de a $n$. Y, de hecho, Mathematica dar a las expresiones explícitas a a $n=10$. Los primeros son:
$$A_0=2(a-\sqrt{a^2-1})$$
$$A_1=1-2a(a-\sqrt{a^2-1})$$
$$A_2=2 \sqrt{a^2-1}~~ (1-2a(a-\sqrt{a^2-1}))$$
$$A_3=2 \sqrt{a^2-1} ~~ ((4a^2-1)(a-\sqrt{a^2-1})-2a)$$
Técnicamente, estos $10$ expresiones son suficientes para la práctica puproses, especialmente para el caso de $a>2$, ya que se vuelven muy pequeños.
Sin embargo, sería genial si hay algún general de simplificación (por lo que puede deshacerse de la función especial).