$$I=\int_0^a\frac{x^4}{(a^2+x^2)^4}dx$$
en primer lugar:
$$\frac{1}{(a^2+x^2)^4}=\frac{1}{\left[a^2(1+\left(\frac{x}{a}\right)^2\right]^4}=\frac{a^{-8}}{\left[1+\left(\frac{x}{a}\right)^2\right]^4}$$
ahora podemos utilizar la sustitución:
$$x=a\tan(u)\,,dx=a\sec^2(u)du$$
así que nuestra integral se convierte en:
$$I=\frac{1}{a^8}\int_0^{\pi/4}\frac{a^4\tan^4(u)}{\sec^8(u)}.a\sec^2(u)du=\frac{1}{a^3}\int_0^{\pi/4}\frac{\tan^4(u)}{\sec^6(u)}du=\frac{1}{a^3}\int_0^{\pi/4}\sin^4(u)\cos^2(u)du$$
lo que ahora podemos dividir en dos partes:
$$I_1=\int_0^{\pi/4}\sin^4(u)du$$
$$I_2=\int_0^{\pi/4}\sin^6(u)du$$
ahora sólo tiene que utilizar la $\sin(x)$ fórmula de reducción:
$$\int\sin^n(x)dx=-\frac{1}{n}\sin^{n-1}(x)\cos(x)+\frac{n-1}{n}\int\sin^{n-2}(x)dx$$
que podemos modificar para nuestros límites:
$$\int_0^{\pi/4}\sin^n(x)dx=-\frac{1}{n}\left(\frac{1}{\sqrt{2}}\right)^n+\frac{n-1}{n}\int_0^{\pi/4}\sin^{n-2}(x)dx$$
y ahora es fácil evaulate:
$$I_1=-\frac{1}{16}+\frac{3}{4}\int_0^{\pi/4}\sin^2(x)dx$$
$$I_1=-\frac{1}{16}+\frac{3}{4}\left(-\frac{1}{4}+\frac{1}{2}\int_0^{\pi/4}dx\right)=-\frac{1}{4}+\frac{3\pi}{32}$$
así que ahora podemos pasar a la segunda integral:
$$I_2=-\frac{1}{48}+\frac{5}{6}I_1=-\frac{11}{48}+\frac{5\pi}{64}$$
así:
$$I_1-I_2=\left(-\frac{1}{4}+\frac{3\pi}{32}\right)-\left(-\frac{11}{48}+\frac{5\pi}{64}\right)=\frac{3\pi-4}{192}$$
y sabemos que:
$$I=\frac{I_1-I_2}{a^3}$$
por lo tanto:
$$I=\frac{3\pi-4}{192a^3}$$
En términos de tratar de utilizar otro método, supongo que podría intentar utilizar una forma de la función beta. Sabemos que:
$$B(\alpha,\beta)=\int_0^{\pi/2}\sin^{\alpha-1}(x)\cos^{\beta+1}(x)dx=\frac{\Gamma\left(\frac{\alpha}{2}\right)\Gamma\left(1+\frac{\beta}{2}\right)}{2\Gamma\left(1+\frac{\alpha+\beta}{2}\right)}$$
y el uso de otra sustitución:
$$u=\frac{x}{2}$$
podemos obtener:
$$B(\alpha,\beta)=\int_0^{\pi/2}\sin^{\alpha-1}(x)\cos^{\beta+1}(x)dx=2\int_0^{\pi/4}\sin^{\alpha-1}(2u)\cos^{\beta+1}(2u)du=2\int_0^{\pi/4}\left(2\sin(u)\cos(u)\right)^{\alpha-1}\left(\cos^2(u)-\sin^2(u)\right)^{\beta+1}du$$
aunque esto parece ser más problemas que sólo la evaluación de la integral utilizando la fórmula de reducción.
Esta es la forma de derivar la fórmula de reducción:
$$\int\sin^n(x)dx=-\sin^{n-1}(x)\cos(x)-(n-1)\int(-\cos(x))\sin^{n-2}(x)\cos(x)dx$$$$=-\sin^{n-1}(x)\cos(x)+(n-1)\int\sin^{n-2}(x)(1-\sin^2(x))dx$$$$=-\sin^{n-1}(x)\cos(x)+(n-1)\int\sin^{n-2}(x)dx-(n-1)\int\sin^n(x)dx$$
así:
$$n\int\sin^n(x)dx=-\sin^{n-1}(x)\cos(x)+(n-1)\int\sin^{n-2}(x)dx$$
finalmente:
$$\int\sin^n(x)dx=-\frac{1}{n}\sin^{n-1}(x)\cos(x)+\frac{n-1}{n}\int\sin^{n-2}(x)dx$$
O usted podría intentar el uso de la serie:
$$I=\int_0^a\frac{x^4}{(a^2+x^2)^4}dx=\int_0^a x^4(a^2+x^2)^{-4}dx=a^{-8}\int_0^a x^4\left(1+\left(\frac{x}{a}\right)^2\right)^{-4}dx$$$$=\frac{a^{-8}}{24}\int_0^a x^4\sum_{n=0}^\infty\left(\frac{x}{a}\right)^n (-1)^n \frac{(n+4)!}{n!}dx$$$$=\frac{1}{24}\int_0^a\sum_{n=0}^\infty (-1)^nx^{n+4}a^{-(n+8)}\frac{(n+4)!}{n!}dx$$$$
=\frac{1}{24}\sum_{n=0}^\infty\left[x^{n+5}\right]_{x=0}^a a^{-(n+8)}\frac{(-1)^n(n+4)!}{(n+5)n!}$$$$
=\frac{1}{24a^3}\sum_{n=0}^\infty\frac{(-1)^n(n+4)!}{(n+5)n!}$$
aunque me parece que han cometido un error en la serie en algún lugar como la suma no converge
EDITAR:
volviendo a la función beta, hay otra versión llamada la función beta incompleta, que establece:
$$B(z;a,b)=\int_0^z x^{a-1}(1-x)^{b-1}dx=z^a\sum_{n=0}^\infty\frac{(1-b)_n}{n!(a+n)}z^n$$
pero de nuevo no es sólo más fácil el uso de una fórmula de reducción o de romper hacia abajo para usted el uso de la identidad:
$$\cos(2x)=\cos^2(x)-\sin^2(x)=2\cos^2(x)-1=1-2\sin^2(x)$$
por lo tanto:
$$\sin^2(x)=\frac{1-\cos(2x)}{2}$$