Voy a demostrar que
$$I = \int_0^\infty \frac{x^2 \tan^{-1} x}{1 + x^2 + x^4} \, dx = \frac{\pi^2}{8 \sqrt{3}} + \frac{\pi}{24} \ln \left (\frac{2 - \sqrt{3}}{2 + \sqrt{3}} \right ) + \frac{2}{3} \mathbf{G},$$
donde $\mathbf{G}$ es del catalán constante.
La observación de que
$$\frac{\tan^{-1} x}{x} = \int_0^1 \frac{dy}{1 + x^2 y^2},$$
en la conversión de la integral de una integral doble tenemos
$$I = \int_0^1 \int_0^\infty \frac{x^3}{(1 + x^2 + x^4)(1 + x^2 y^2)} \, dx \, dy,$$
después de que el orden de integración ha sido cambiado. Encontrar una fracción parcial de la descomposición para el integrando con respecto a la variable $x$da
$$I = \int_0^1 \frac{1}{1 - y^2 + y^4} \int_0^\infty \left [- \frac{xy^2}{1 + x^2 y^2} + \frac{x - y^2 + 1}{2(x^2 + x + 1)} + \frac{x + y^2 - 1}{2(x^2 - x + 1)} \right ] \, dx \, dy.$$
Cada una de las $x$-de las integrales es elemental, siendo igual a un registro o a la inversa de la tangente. El resultado es
$$I = \frac{\pi}{6 \sqrt{3}} \int_0^1 \frac{2y^2 - 1}{1 - y^2 + y^4} \, dy - \int_0^1 \frac{\ln y}{1 - y^2 + y^4} \, dy = \frac{\pi}{6\sqrt{3}} I_1 - I_2.$$
La primera de las integrales es elemental. Aquí
\begin{align}
I_1 &= \int_0^1 \frac{2y^2 - 1}{1 - y^2 + y^4} \, dy\\
&= \int_0^1 \left [\frac{y - \sqrt{3}}{2 \sqrt{3} (-y^2 + y \sqrt{3} - 1)} + \frac{y + \sqrt{3}}{2 \sqrt{3} (y^2 + y \sqrt{3} + 1)} \right ] \, dy\\
&= -\frac{3}{4 \sqrt{3}} \int_0^1 \frac{2y + \sqrt{3}}{y^2 + y \sqrt{3} + 1} \, dy + \frac{1}{4} \int_0^1 \frac{dy}{(y + \sqrt{3}/2)^2 + 1/4}\\
& \qquad + \frac{3}{4 \sqrt{3}} \int_0^1 \frac{-2y + \sqrt{3}}{-y^2 + y \sqrt{3} - 1} \, dy + \frac{1}{4} \int_0^1 \frac{dy}{(y - \sqrt{3}/2)^2 + 1/4}\\
&=\frac{3}{4 \sqrt{3}} \ln \left (\frac{2 - \sqrt{3}}{2 + \sqrt{3}} \right ) + \frac{1}{2} \tan^{-1} (2 + \sqrt{3}) + \frac{1}{2} \tan^{-1} (2 - \sqrt{3})\\
&= \frac{\pi}{4} + \frac{3}{4 \sqrt{3}} \ln \left (\frac{2 - \sqrt{3}}{2 + \sqrt{3}} \right ).
\end{align}
La segunda de las integrales es una bestia completamente diferente. Será manejado a través de la dilogarithm maquinaria. En particular, vamos a hacer uso de el resultado
$$\int_0^1 \frac{\ln x}{x - r} \, dx = \operatorname{Li}_2 \left (\frac{1}{r} \right ), \quad r \neq 0, \tag1$$
donde $\operatorname{Li}_2 (x)$ es el dilogarithm. Este resultado puede ser fácilmente demostrado usando integración por partes y tomando nota de la definición de integral para $\operatorname{Li}_2 (x)$.
Denota las raíces de la ecuación de $y^4 - y^2 + 1 = 0$ como $r_1 = (\sqrt{3} + i)/2$, $r_2 = -(\sqrt{3} + i)/2$, $r_3 = (\sqrt{3} - i)/2$, e $r_4 = (\sqrt{3} - i)/2$, en factorizar el denominador que aparece en el integrando de a$I_2$ en los lineales de los factores sobre el complejo de dominio antes de encontrar una fracción parcial de la descomposición, se encuentra
\begin{align}
I_2 &= -\frac{\sqrt{3} + 3i}{12} \int_0^1 \frac{dx}{x - r_1} + \frac{\sqrt{3} + 3i}{12} \int_0^1 \frac{dx}{x - r_2}\\
& \qquad -\frac{\sqrt{3} - 3i}{12} \int_0^1 \frac{dx}{x - r_3} + \frac{\sqrt{3} - 3i}{12} \int_0^1 \frac{dx}{x - r_4},
\end{align}
o en términos de la dilogarithm, a partir de (1)
\begin{align}
I_2 &= \frac{\sqrt{3} + 3i}{12} \left [\operatorname{Li}_2 \left (\frac{-\sqrt{3} + i}{2} \right ) - \operatorname{Li}_2 \left (\frac{\sqrt{3} - i}{2} \right ) \right ]\\
& \qquad + \frac{\sqrt{3} - 3i}{12} \left [\operatorname{Li}_2 \left (\frac{-\sqrt{3} - i}{2} \right ) - \operatorname{Li}_2 \left (\frac{\sqrt{3} + i}{2} \right ) \right ]\\
&= \frac{\sqrt{3} + 3i}{12} \left [\operatorname{Li}_2 \left (e^{5 \pi i/6} \right ) - \operatorname{Li}_2 \left (e^{-\pi i/6} \right ) \right ] + \frac{\sqrt{3} - 3i}{12} \left [\operatorname{Li}_2 \left (e^{-5 \pi i/6} \right ) - \operatorname{Li}_2 \left (e^{\pi i/6} \right ) \right ]\\
&= \frac{\sqrt{3} + 3i}{12} S_1 + \frac{\sqrt{3} - 3i}{12} S_2.
\end{align}
Para encontrar los valores de $S_1$ e $S_2$ la definición de la dilogarithm va a ser utilizado, es decir,
$$\operatorname{Li}_2 (z) = \sum_{n = 1}^\infty \frac{z^n}{n^2}, \qquad |z| < 1.$$
Para $S_1$, establecimiento $z = e^{5\pi i/6}$ e $z = e^{-i\pi/6}$ en la anterior suma conduce a
\begin{align}
S_1 &= \sum_{n = 1}^\infty \frac{1}{n^2} \left [\cos \left (\frac{5 n\pi}{6} \right ) - \cos \left (\frac{n\pi}{6} \right ) \right ] + i \sum_{n = 1}^\infty \frac{1}{n^2} \left [\sin \left (\frac{5 n\pi}{6} \right ) - \sin \left (\frac{n\pi}{6} \right ) \right ]\\
&= S_{1,1} + i S_{1,2}.
\end{align}
Para encontrar la primera de estas sumas, a medida que la serie converge absolutamente podemos reorganizar los términos de la siguiente manera:
\begin{align}
S_{1,1} &= - \sqrt{3} \sum_{\substack{n = 1\\n \in 1,13,\ldots}}^\infty \frac{1}{n^2} + \sqrt{3} \sum_{\substack{n = 1\\n \in 5,17,\ldots}}^\infty \frac{1}{n^2}\\
& \qquad + \sqrt{3} \sum_{\substack{n = 1\\n \in 7,19,\ldots}}^\infty \frac{1}{n^2} - \sqrt{3} \sum_{\substack{n = 1\\n \in 11,23,\ldots}}^\infty \frac{1}{n^2}\\
&= -\frac{\sqrt{3}}{144} \sum_{n = 0}^\infty \frac{1}{n + 1/12)^2} + \frac{\sqrt{3}}{144} \sum_{n = 0}^\infty \frac{1}{(n + 5/12)^2}\\
& \qquad + \frac{\sqrt{3}}{144} \sum_{n = 0}^\infty \frac{1}{(n + 7/12)^2} - \frac{\sqrt{3}}{144} \sum_{n = 0}^\infty \frac{1}{(n + 11/12)^2}\\
&= -\frac{\sqrt{3}}{144} \psi^{(1)} \left (\frac{1}{12} \right ) + \frac{\sqrt{3}}{144} \psi^{(1)} \left (\frac{5}{12} \right ) + \frac{\sqrt{3}}{144} \psi^{(1)} \left (\frac{7}{12} \right ) - \frac{\sqrt{3}}{144} \psi^{(1)} \left (\frac{11}{12} \right )\\
&= -\frac{\sqrt{3}}{144} \left [\psi^{(1)} \left (1 - \frac{1}{12} \right ) + \psi^{(1)} \left (\frac{1}{12} \right ) \right ]\\
& \qquad + \frac{\sqrt{3}}{144} \left [\psi^{(1)} \left (1 - \frac{5}{12} \right ) + \psi^{(1)} \left (\frac{5}{12} \right ) \right ]\\
&= -\frac{\sqrt{3}}{144} \frac{\pi^2}{\sin^2 (\pi/12)} + \frac{\sqrt{3}}{144} \frac{\pi^2}{\sin^2 (5\pi/12)}\\
&= - \frac{\pi^2}{6}.
\end{align}
Aquí $\psi^{(1)} (z)$ es el trigamma función con su reflexión fórmula de haber sido utilizada.
En una manera similar, la segunda suma $S_{1,2}$ puede ser encontrado. Aquí
\begin{align}
S_{1,2} &= \sum_{\substack{n = 1\\n \in 1,13,\ldots}}^\infty \frac{1}{n^2} + 2 \sum_{\substack{n = 1\\n \in 3,15,\ldots}}^\infty \frac{1}{n^2}\\
& \qquad + \sum_{\substack{n = 1\\n \in 5,17,\ldots}}^\infty \frac{1}{n^2} - \sum_{\substack{n = 1\\n \in 7,19,\ldots}}^\infty \frac{1}{n^2}\\
& \qquad -2 \sum_{\substack{n = 1\\n \in 9,21,\ldots}}^\infty \frac{1}{n^2} - \sum_{\substack{n = 1\\n \in 11,23,\ldots}}^\infty \frac{1}{n^2}\\
&= \frac{1}{144} \sum_{n = 0}^\infty \frac{1}{(n + 1/12)^2} + \frac{1}{72} \sum_{n = 0}^\infty \frac{1}{(n + 3/12)^2}\\
& \qquad + \frac{1}{144} \sum_{n = 0}^\infty \frac{1}{(n + 5/12)^2} - \frac{1}{144} \sum_{n = 0}^\infty \frac{1}{(n + 7/12)^2}\\
& \qquad - \frac{1}{72} \sum_{n = 0}^\infty \frac{1}{(n + 9/12)^2} - \frac{1}{144} \sum_{n = 0}^\infty \frac{1}{(n + 11/12)^2}\\
&= \frac{1}{144} \left [\psi^{(1)} \left (\frac{1}{12} \right ) - \psi^{(1)} \left (\frac{7}{12} \right ) \right ] + \frac{1}{72} \left [\psi^{(1)} \left (\frac{1}{4} \right ) - \psi^{(1)} \left (\frac{3}{4} \right ) \right ]\\
& \qquad + \frac{1}{144} \left [\psi^{(1)} \left (\frac{5}{12} \right ) - \psi^{(1)} \left (\frac{11}{12} \right ) \right ]. \tag2
\end{align}
Dos valores especiales para la trigamma función son:
$$\psi^{(1)} \left (\frac{1}{4} \right ) = \pi^2 + 8 \mathbf{G} \quad \text{and} \quad \psi^{(1)} \left (\frac{3}{4} \right ) = \pi^2 - 8 \mathbf{G}.$$
Los otros dos trigamma términos que aparecen en (2) se puede resolver haciendo uso del teorema de la multiplicación para la trigamma función de
$$9 \psi^{(1)} (3z) = \psi^{(1)} (z) + \psi^{(1)} \left (z + \frac{1}{3} \right ) + \psi^{(1)} \left (z + \frac{2}{3} \right ).$$
Establecimiento $z = 1/4$ conduce a
\begin{align}
9 \psi^{(1)} \left (\frac{3}{4} \right ) &= \psi^{(1)} \left (\frac{1}{4} \right ) + \psi^{(1)} \left (\frac{7}{12} \right ) + \psi^{(1)} \left (\frac{11}{12} \right )\\
&= \psi^{(1)} \left (\frac{1}{4} \right ) + \psi^{(1)} \left (\frac{7}{12} \right ) + \psi^{(1)} \left (1 - \frac{1}{12} \right ),
\end{align}
o
$$\psi^{(1)} \left (\frac{1}{12} \right ) - \psi^{(1)} \left (\frac{7}{12} \right ) = 4 \sqrt{3} \pi^2 + 80 \mathbf{G},$$
donde hemos hecho uso de los dos valores especiales para la trigamma función junto con la reflexión de la fórmula.
También, empezando de nuevo con $z = 1/4$ en la multiplicación de la fórmula que hemos
\begin{align}
9 \psi^{(1)} \left (\frac{3}{4} \right ) &= \psi^{(1)} \left (\frac{1}{4} \right ) + \psi^{(1)} \left (\frac{7}{12} \right ) + \psi^{(1)} \left (\frac{11}{12} \right )\\
&= \psi^{(1)} \left (\frac{1}{4} \right ) + \psi^{(1)} \left (1 - \frac{5}{12} \right ) + \psi^{(1)} \left (\frac{11}{12} \right ),
\end{align}
o
$$\psi^{(1)} \left (\frac{5}{12} \right ) - \psi^{(1)} \left (\frac{11}{12} \right ) = 4 \sqrt{3} \pi^2 + 80 \mathbf{G},$$
donde de nuevo se ha hecho uso de los dos valores especiales para la trigamma función junto con la reflexión de la fórmula. Así
$$S_{1,2} = \frac{1}{144} \left (4 \sqrt{3} \pi^2 + 80 \mathbf{G} \right ) + \frac{1}{72} \left (\pi^2 + 8 \mathbf{G} -\pi^2 + 8 \mathbf{G}\right ) + \frac{1}{144} \left (-4 \sqrt{3} \pi^2 + 80 \mathbf{G} \right ) = \frac{4}{3} \mathbf{G}.$$
Así
$$S_1 = -\frac{\pi^2}{6} + \frac{4 i \mathbf{G}}{3}.$$
No hace falta decir, un método similar puede ser utilizado para encontrar las $S_2$. El resultado es:
$$S_2 = -\frac{\pi^2}{6} - \frac{4 i \mathbf{G}}{3},$$
dando
$$I_2 = \frac{\sqrt{3} + 3i}{12} \left (-\frac{\pi^2}{6} + \frac{4i \mathbf{G}}{3} \right ) + \frac{\sqrt{3} - 3i}{12} \left (-\frac{\pi^2}{6} - \frac{4i \mathbf{G}}{3} \right ) = -\frac{\pi^2}{12 \sqrt{3}} - \frac{2}{3} \mathbf{G}.$$
Así que al regresar a nuestra integral inicial que uno tiene:
$$I = \frac{\pi}{6 \sqrt{3}} \left [\frac{\pi}{4} + \frac{3}{4 \sqrt{3}} \ln \left (\frac{2 - \sqrt{3}}{2 + \sqrt{3}} \right ) \right ] + \frac{\pi^2}{12 \sqrt{3}} + \frac{2}{3} \mathbf{G},$$
o
$$\int_0^\infty \frac{x^2 \tan^{-1} x}{1 + x^2 + x^4} \, dx = \frac{\pi^2}{8 \sqrt{3}} + \frac{\pi}{24} \ln \left (\frac{2 - \sqrt{3}}{2 + \sqrt{3}} \right ) + \frac{2}{3} \mathbf{G}.$$
Este resultado coincide numéricamente con el resultado anterior dada por @Sangchul Lee en la sección de comentarios.