Siguiente @mickep's idea, podemos simplificar la integral de la siguiente manera:
1. Legendre chi función y su representación integral. Definir
$$ \chi_2 (z) = \frac{\operatorname{Li}_2(z) - \operatorname{Li}_2(-z)}{2} = \sum_{n=0}^{\infty} \frac{z^{2n+1}}{(2n+1)^2}. $$
Podemos comprobar que (por ejemplo, ver mi publicación anterior) la siguiente representación integral tiene
$$\int_{0}^{\frac{\pi}{2}} \arctan(z \sin\theta) \, d\theta = 2\chi_2\Big( \tfrac{\sqrt{1+z^2}-1}{z}\Big). \tag{$z \noen \pm i(1,\infty)$} $$
Por otra parte, tenemos los siguientes dos identidades, que puede ser fácilmente controlado por la diferenciación de ambos lados.
\begin{align*}
\chi_2(z) + \chi_2(\tfrac{1-z}{1+z}) &= \tfrac{1}{8}\pi^2 - \tfrac{1}{2}\log z \log(\tfrac{1-z}{1+z}), \\
\chi_2(z) + \chi_2(\tfrac{1}{z}) &= \tfrac{1}{4}\pi^2 + \tfrac{i}{2} \pi (\operatorname{sign}\Im z) \log z.
\end{align*}
2. La descomposición de la arcotangente. El uso de @mickep's idea, si dejamos $\omega = e^{2\pi i/3}$, luego tenemos
\begin{align*}
\arctan(z^3)
&= \frac{\log(1+iz^3) - \log(1-iz^3)}{2} \\
&= -\sum_{k=0}^{2} \frac{\log(1+i\omega^k z) - \log(1-i\omega^k z)}{2} \\
&= -\sum_{k=0}^{2} \arctan(\omega^k z).
\end{align*}
3. Simplificación de la integral usando $\chi_2$. La combinación de dos resultados, para $|z| \leq 1$ hemos
\begin{align*}
\int_{0}^{\frac{\pi}{2}} \arctan(z^3 \sin^3\theta) \, d\theta
&= -2 \sum_{k=0}^{2} \chi_2\Big( \tfrac{\sqrt{1+\omega^{2k}z^k}-1}{\omega^k z}\Big).
\end{align*}
Ahora vamos a $\alpha = \frac{-1+i}{2}(\sqrt{3} - 1)$. Entonces es sencillo comprobar que
$$ \int_{0}^{\frac{\pi}{2}} \arctan(\sin^3\theta) \, d\theta = -2 (\chi_2(\sqrt{2} - 1) + \chi_2(\alpha) + \chi_2(\bar{\alpha})) $$
y que $\frac{1-\alpha}{1+\alpha} = -\bar{\alpha}^{-1}$. El uso de las identidades invloving $\chi_2$, nos encontramos con que
$$ \chi_2(\alpha) + \chi_2(\bar{\alpha}) = -\tfrac{3}{32} \pi^2 + \tfrac{1}{8}\log^2(2+\sqrt{3}). $$
La combinación en total, tenemos
$$\int_{0}^{\frac{\pi}{2}} \arctan(\sin^3\theta) \, d\theta
= \tfrac{1}{16}\pi^2 + \tfrac{1}{2}\log^2(1+\sqrt{2}) - \tfrac{1}{4}\log^2(2+\sqrt{3}). $$
Apéndice: una posible forma de generalización. Por extraño $n = 2m+1$$\omega = e^{2\pi i/n}$, podemos escribir
$$ \int_{0}^{\pi/2} \arctan(\sin^n t) \, dt
= (-1)^m \sum_{k=0}^{n-1} \int_{0}^{\pi/2} \arctan(\omega^k \sen t) \, dt. $$
Emparejamiento hasta el conjugado términos y simplificando, esto se escribe como el siguiente formulario
$$ = (-1)^m 2 \chi_2(\sqrt{2}-1) + (-1)^m 2 \sum_{k=1}^{m} \epsilon_k (\chi_2(\alpha_k) + \chi_2(\bar{\alpha}_k)), $$
donde $\epsilon_k \in \{-1, 1\}$ es elegir adecuadamente, de modo que $\alpha_k$ es de la forma
$$ \alpha_k = x_k + iy_k \quad \text{with } y_k = \sqrt{1+\smash[b]{2x_k - x_k^2}}. $$
De hecho, $(\epsilon_k)$ $\alpha_k$ son elegidos de la siguiente manera:
$$ \epsilon_k = \begin{cases}
1 & \text{if } \Re(\omega^k) < 0, \\
-1 & \text{if } \Re(\omega^k) > 0,
\end{casos}
\quad\text{y} \quad
\alpha_k = \begin{cases}
\omega^{-k}(\sqrt{1+\omega^{2k}}-1) & \text{if } \Re(\omega^k) < 0, \\
-\omega^{k}(\sqrt{1+\omega^{-2k}}-1) & \text{if } \Re(\omega^k) > 0,
\end{casos}
$$
(En otras palabras, podemos elegir el signo de $\epsilon_k$, de modo que $\epsilon_k \omega^k$ siempre ha reales negativos partes). Utilizando la misma idea anterior se puede simplificar
$$ \chi_2(\alpha_k) + \chi_2(\bar{\alpha}_k) = -\tfrac{1}{8}\pi^2 + \tfrac{1}{2}\left(\tfrac{\pi}{2} + \arctan\Big(\tfrac{x_k}{y_k}\Big) \right)^2 + \tfrac{1}{8}\log^2(1+2x_k). $$
Por ejemplo, con la ayuda de Mathematica, se puede comprobar que
\begin{align*}
\int_{0}^{\frac{\pi}{2}} \arctan(\sin^5 x) \, dx
&= \tfrac{1}{8}\pi^2 - \tfrac{1}{2}\log^2\left(1+\sqrt{2}\right) \\
&\quad - \tfrac{1}{4} \log^2 \left(\tfrac{1}{2} \left(1+\sqrt{5}-\sqrt{2 (1+\smash[b]{\sqrt{5}})}\right)\right) \\
&\quad + \tfrac{1}{4} \log^2 \left(\tfrac{1}{2} \left(3+\sqrt{5}-\sqrt{10+6 \smash[b]{\sqrt{5}}}\right)\right) \\
&\quad +\left(\pi -\tan^{-1}\left(\sqrt{2+\smash[b]{\sqrt{5}}}\right) - \cot^{-1}(5^{1/4}) \right) \\
&\qquad \times \left(\cot^{-1}(5^{1/4}) - \tan^{-1}\left(\sqrt{2+\smash[b]{\sqrt{5}}}\right)\right)
\end{align*}