Denotar la primera integral por $I$ y el segundo por $J$. A continuación,
$$\begin{aligned}
J=&\int_0^{\pi/4} x\left(\frac{\pi}{2}-\arctan\sqrt{\frac{\cos 2x}{2\sin^2 x}}\right)\,dx \\
=&\frac{\pi^3}{64}-I \,\,\,\,\,\,\,(1)
\end{aligned}$$
$I$ puede ser simiplified a:
$$I=\int_0^{\pi/4} x\arccos(\sqrt{2}\sin x)\,dx=\left(\frac{x^2\arccos(\sqrt{2}\sin x)}{2}\right|_0^{\pi/4}+\frac{1}{2}\int_0^{\pi/4} \frac{x^2\left(\sqrt{2}\cos x\right)}{\sqrt{1-2\sin^2x}}\,dx$$
El primer término es cero y con la sustitución de $2\sin^2x=\sin^2\theta$,
$$I=\frac{1}{2}\int_0^{\pi/2} \left(\arcsin\left(\frac{\sin \theta}{\sqrt{2}}\right)\right)^2\,d\theta$$
A partir de aquí,
$$\frac{\arcsin x}{\sqrt{1-x^2}}=\sum_{n=0}^{\infty} \frac{(2n)!!}{(2n+1)!!}x^{2n+1}$$
Integrar ambos lados dentro del límite de $0$$\sin\theta/\sqrt{2}$, yo.e:
$$\begin{aligned}
I &=\frac{1}{2}\sum_{n=0}^{\infty} \frac{1}{2^{n+1}(n+1)}\frac{(2n)!!}{(2n+1)!!}\int_0^{\pi/2} \sin^{2n+2}\theta\,d\theta \\
&=\frac{1}{2}\sum_{n=0}^{\infty} \frac{1}{2^{n+1}(n+1)}\frac{(2n)!!}{(2n+1)!!}\frac{(2n+1)!! \pi}{2^{n+2}(n+1)!}\\
&=\frac{\pi}{8}\sum_{n=0}^{\infty}\frac{1}{2^{n+1}(n+1)^2} \,\,\,\,\,\,\,\,\,\left((2n)!!=2^nn!\right) \\
&=\frac{\pi}{8}\text{Li}_2\left(\frac{1}{2}\right) \\
\end{aligned}$$
Por lo tanto,
$$\boxed{I=\dfrac{\pi}{96}\left(\pi^2-6\ln^22\right)}$$
y de $(1)$,
$$\boxed{J=\dfrac{\pi}{192}\left(\pi^2+12\ln^2 2\right)}$$