Podemos empezar reescribiendo la integral en términos de su inversa, de manera similar a como se ve en esta respuesta.
$$I=\int_0^{\frac{\pi}{3}}\arccos^2(2\sin^2 x-\cos x) dx \overset{x \to \pi-x}= \int_{\frac{2\pi}{3}}^\pi\arccos^2(2\sin^2 x+\cos x) dx$$
$$\small =\pi^3-\int_0^{\pi^2} \arccos\left(\frac14-\frac14 \sqrt{17-8\cos \sqrt{y}}\right)dy\overset{y^2\to y}=\pi^3-2\int_0^{\pi} y\arccos\left(\frac14-\frac14 \sqrt{17-8\cos y}\right)dy$$
A continuación, deberíamos notar que el argumento de $\arccos$ es la solución "$-$" de una ecuación cuadrática. Al mismo tiempo, tiene sentido considerar también la solución "$+$" de esta manera:
$$\mathcal J_{\pm}=\int_0^\pi y\arccos\left(\frac14\pm\frac14 \sqrt{17-8\cos y}\right)dy$$
Aquí cabe mencionar que la solución "$+$" es un número puramente imaginario, ya que el argumento de $\arccos$ está fuera del rango $(-1,1)$, por lo tanto podemos restarlo de la integral original y tomar directamente la parte real.
$$\Rightarrow I= \pi^3-2 \mathcal J_{-}=\pi^3-2\Re\left(\mathcal J_{-}-\mathcal J_{+}\right)= \pi^3-2\Re \int_0^\pi y \arccos\left(-1+\frac12e^{iy}\right)dy$$
$$=4\Re \int_0^\pi y\arcsin\left(\frac12 e^{iy/2}\right)dy=2\Re\sum_{n=0}^\infty \frac{(2n)!}{2^{4n} (n!)^2(2n+1)} \int_0^\pi y e^{iy(n+1/2)}dy$$
$$=4\pi \sum_{n=0}^\infty \frac{(-1)^n(2n)!}{2^{4n} (n!)^2 (2n+1)^2}-8 \sum_{n=0}^\infty \frac{(2n)!}{2^{4n} (n!)^2 (2n+1)^3}$$
$$=8\pi\int_0^1\frac{\operatorname{arcsinh}\left(\frac{y}{2}\right)}{y}dy+16 \int_0^1 \frac{\arcsin\left(\frac{y}{2}\right)\ln y}{y}dy$$
$$=\frac{2\pi^3}{5} - \frac{7\pi^3}{27}=\boxed{\frac{19\pi^3}{135}}$$
Arriba usamos la serie de potencias de la función $\arcsin$ (dos veces) así como la de $\operatorname{arcsinh}$. Además, la primera integral se puede encontrar aquí y la segunda aquí (después de integrarla por partes).
Puede valer la pena mencionar que podemos intentar generalizar la integral de la siguiente manera:
$$I(k)=\int_0^\frac{\pi}{3} \arccos^k\left(2\sin^2 x- \cos x \right) dx=2k\Re \int_0^\pi y^{k-1}\arcsin\left(\frac{1}2 e^{iy/2}\right)dy$$
$$=2k\sum_{n=0}^\infty \frac{(2n)!}{2^{4n} (n!)^2(2n+1)} \Re\left(\frac{1}{i^{k-1}}\frac{d^{k-1}}{dn^{k-1}}\frac{i+e^{in\pi}}{2n+1}\right)$$
Por ejemplo, con $k=3$ obtendremos:
$$\small I(3)=\int_0^\frac{\pi}{3} \arccos^3\left(2\sin^2 x- \cos x \right) dx=6\pi^2\sum_{n=0}^\infty \frac{(-1)^n(2n)!}{2^{4n} (n!)^2(2n+1)^2}-48\sum_{n=0}^\infty \frac{(-1)^n(2n)!}{2^{4n} (n!)^2(2n+1)^4}$$
$$\small =12\pi^2\int_0^1\frac{\operatorname{arcsinh}\left(\frac{y}{2}\right)}{y}dy-48 \int_0^1 \frac{\operatorname{arcsinh}\left(\frac{y}{2}\right)\ln^2 y}{y}dy=\frac{3\pi^4}{5}-48_5F_4\left(\begin{array}{c}\tfrac12,\tfrac12,\tfrac12,\tfrac12,\tfrac12\\ \tfrac32,\tfrac32,\tfrac32,\tfrac32\end{array}\middle|-\tfrac14\right)$$
Es probable que la última función hipergeométrica se pueda simplificar, ya que tenemos la forma cerrada de una similar aquí:
$$\small _5F_4\left(\begin{array}{c}\tfrac12,\tfrac12,\tfrac12,\tfrac12,\tfrac12\\ \tfrac32,\tfrac32,\tfrac32,\tfrac32\end{array}\middle|\color{red}{\tfrac14}\right) = \frac{\pi}{12}\zeta(3)+\frac{27}{32}\operatorname{Cl}_4\big(\tfrac23\pi\big)$$
