$\def\B{{\text{B}}}\def\F{{\text{$_2$F$_1$}}}$me parece que la forma cerrada es muy desagradable ya que implican las funciones hipergeométricas. Aquí está mi enfoque. Deje $I$ ser la integral dada y deje $\sin x=\sqrt{t}$, luego
\begin{align}
I&=\frac{1}{8}\int_0^{3/4}\frac{\ln^2t}{\sqrt{t}\cdot\sqrt{1-t}}\,dt\\
&=\frac{1}{8}\lim_{u\to\frac{1}{2}}\partial_u^2\,\B\left(\frac{3}{4};u,\frac{1}{2}\right)
\end{align}
donde $\text{B}\left(z;u,v\right)$ es la función beta incompleta se define por
\begin{align}
\B\left(z;u,v\right)=\int_0^z t^{u-1}(1-t)^{v-1}\,dt
\end{align}
Según Wolfram MathWorld, función beta incompleta puede representar como función hipergeométrica
\begin{align}
\B\left(z;u,v\right)=\frac{z^u}{u}\F\left(u,1-v;1+u;z\right)
\end{align}
Por lo tanto, con la ayuda de Wolfram Alpha, llegamos a la siguiente de forma cerrada
\begin{align}
I
=&\,\frac{1}{8}\lim_{u\to\frac{1}{2}}\partial_u^2\,\left(\frac{\left(\frac{3}{4}\right)^u}{u}\F\left(u,\frac{1}{2};1+u;\frac{3}{4}\right)\right)\\
=&\,\frac{\sqrt{3}}{16}\left[\F^{(0,1,0,0)}\left(\frac{1}{2},\frac{1}{2},\frac{3}{2},\frac{3}{4}\right)-8\,\F^{(0,0,1,0)}\left(\frac{1}{2},\frac{1}{2},\frac{3}{2},\frac{3}{4}\right)\right]+\\
&\,2\left[\F^{(0,0,2,0)}\left(\frac{1}{2},\frac{1}{2},\frac{3}{2},\frac{3}{4}\right)+2\,\F^{(0,1,1,0)}\left(\frac{1}{2},\frac{1}{2},\frac{3}{2},\frac{3}{4}\right)+\F^{(0,2,0,0)}\left(\frac{1}{2},\frac{1}{2},\frac{3}{2},\frac{3}{4}\right)\right]+\\
&\,-\frac{\sqrt{3}}{8}\ln\left(\frac{4}{3}\right)\left[2\,\F^{(0,0,1,0)}\left(\frac{1}{2},\frac{1}{2},\frac{3}{2},\frac{3}{4}\right)+\F^{(0,1,0,0)}\left(\frac{1}{2},\frac{1}{2},\frac{3}{2},\frac{3}{4}\right)-\frac{8\pi}{3\sqrt{3}}\right]\\
&\,+\frac{\pi}{12}\ln^2\left(\frac{4}{3}\right)+\frac{64\pi}{3\sqrt{3}}
\end{align}
Parece que el de arriba de forma cerrada, podría ser simplificado en el Señor Mhenny Benghorbal o Gahawar la respuesta, pero por desgracia, yo soy incapaz de demostrarlo. Ojalá pudiera, lo siento... (╥﹏╥)