Mediante la sustitución de $\phi$$\arctan(t)$, luego usando integración por partes, tenemos:
$$ I = \int_{0}^{1}\frac{1}{1+t^2}\,\arctan\left(\frac{\sqrt{2}(1-3t^2)}{(5+t^2)\sqrt{1-t^2}}\right)\,dt =\frac{\pi^2}{8}-\int_{0}^{1}\frac{3\sqrt{2}\, t \arctan(t)}{(3-t^2)\sqrt{1-t^2}}\,dt.$$
Ahora viene la magia. Desde:
$$\int \frac{3\sqrt{2}\,t}{(3-t^2)\sqrt{1-t^2}}\,dt = -3\arctan\sqrt{\frac{1-t^2}{2}}\tag{1}$$
la integración por partes, una vez más, se obtiene:
$$ I = \frac{\pi^2}{8}-3\int_{0}^{1}\frac{1}{1+t^2}\arctan\sqrt{\frac{1-t^2}{2}}\,dt \tag{2}$$
por lo tanto sólo tenemos que probar que:
$$ \int_{0}^{1}\frac{dt}{1+t^2}\,\arctan\sqrt{\frac{1-t^2}{2}}=\int_{0}^{\frac{1}{\sqrt{2}}}\frac{\arctan\sqrt{1-2t^2}}{1+t^2}\,dt=\color{red}{\frac{\pi^2}{24}}\tag{3}$$
y esto no es difícil ya que ambos
$$\int_{0}^{1}\frac{dt}{1+t^2}(1-t^2)^{\frac{2m+1}{2}},\qquad \int_{0}^{\frac{1}{\sqrt{2}}}\frac{(1-2t^2)^{\frac{2m+1}{2}}}{1+t^2}\,dt $$
se puede calcular mediante el teorema de los residuos u otras técnicas. Por ejemplo:
$$\int_{0}^{1}\frac{(1-t)^{\frac{2m+1}{2}}}{t^{\frac{1}{2}}(1+t)}\,dt = \sum_{n\geq 0}(-1)^n \int_{0}^{1}(1-t)^{\frac{2m+1}{2}} t^{n-\frac{1}{2}}\,dt=\sum_{n\geq 0}(-1)^n\frac{\Gamma\left(m+\frac{3}{2}\right)\Gamma\left(n+\frac{1}{2}\right)}{\Gamma(m+n+2)}$$
o simplemente:
$$\int_{0}^{1}\frac{\sqrt{\frac{1-t^2}{2}}}{(1+t^2)\left(1+\frac{1-t^2}{2}u^2\right)}\,dt = \frac{\pi}{2(1+u^2)}\left(1-\frac{1}{\sqrt{2+u^2}}\right)\tag{4}$$
de los cuales:
$$\int_{0}^{1}\frac{dt}{1+t^2}\,\arctan\sqrt{\frac{1-t^2}{2}}=\frac{\pi}{2}\int_{0}^{1}\frac{du}{1+u^2}\left(1-\frac{1}{\sqrt{2+u^2}}\right) =\color{red}{\frac{\pi^2}{24}} $$
como quería, ya que:
$$ \int \frac{du}{(1+u^2)\sqrt{2+u^2}}=\arctan\frac{u}{\sqrt{2+u^2}}.$$
