Tengo una respuesta, pero es un poco demasiado largo y desordenado, así puedo usar Wolfram Alpha para que me ayude. Primero usamos Euler sustitución por $t+x=\sqrt{x^2-x+1}$, entonces tenemos
$$
x=\frac{1-t^2}{1+2t}\qquad\color{red}{\Rightarrow}\qquad dx=-\frac{2(1+t+t^2)}{(1+2t)^2}
$$
y
$$
\sqrt{x^2-x+1}=\frac{1+t+t^2}{1+2t}.
$$
Por lo tanto
\begin{align}
I=\int_0^1\frac{\ln^2x}{\sqrt{x^2-x+1}}dx&=2\int_0^1\frac{\ln^2\left(\frac{1-t^2}{1+2t}\right)}{1+2t}\ dt\\
Y=2\int_0^1\frac{\bigg[\ln(1-t)+\ln(1+t)-\ln(1+2t)\bigg]^2}{1+2t}\ dt.\tag1
\end{align}
$U=1+2t\ \color{red}{\Rightarrow}\ t=\dfrac{1+u}{2}$ y ampliar el integrando, tenemos
\begin{align}
\frac{\bigg[\ln\left(\frac{3-u}{2}\right)+\ln\left(\frac{1+u}{2}\right)-\ln u\bigg]^2}u&=\frac{\bigg[\ln3-2\ln2+\ln\left(1-\frac{u}{3}\right)+\ln\left(1+u\right)-\ln u\bigg]^2}u
\end{align}
Vamos a partir de esta parte Wolfram Alpha lleva más ya que es muy engorroso y complicado, el integrando resulta ser
![enter image description here]()
Se parece a ninguno de el integrando es difícil integrar plazo-sabio, ya sea por sustitución, IBP varias veces, o la expansión de la serie, pero, por supuesto, sería tedioso así que vamos a Wolfram Alpha hacerlo. Deje que la forma expandida de integrando $f(u)$, entonces $(1)$ se convierte en
$$
I=\int_1^3 f(u)\ du\tag2
$$
y la integral indefinida de $(2)$ es
![enter image description here]()
Por desgracia, Wolfram Alpha no se puede dar una respuesta como @Cleo después de la sustitución de los límites de la integración. Tal vez, Mathematica o Maple es capaz de dar forma cerrada. Espero que David H puede completar su respuesta y puede resultar @Cleo de reclamación. Le deseo mucha suerte!!
ADDENDUM :
Espero que David H me permiten ayudar en la evaluación de $\color{blue}{I_4}$, por supuesto que va a tomar todo el crédito para la evaluación de este problema, ya que él ha hecho la mayor parte del cálculo.
Considere la posibilidad de
\begin{align}
J=\int_0^1\frac{1}{1+2t}\ln^2\left(\frac{1-t}{1+t}\right)\ dt.
\end{align}
Es fácil ver que
\begin{align}
J&=\int_0^1\frac{\ln^2(1-t)}{1+2t}\ dt+\int_0^1\frac{\ln^2(1+t)}{1+2t}\ dt-2\int_0^1\frac{\ln(1-t)\ln(1+t)}{1+2t}\ dt\\
&=\color{red}{I_1}+\color{verde}{I_2}-2\color{blue}{I_4}.\tag3
\end{align}
Para evaluar $J$, vamos a $u=\dfrac{1-t}{1+t}$, entonces tenemos
$$
t=\frac{1-u}{1+u}\quad\ 1+2t=\frac{3-u}{1+u}\ ,\quad\text{y}\quad dt=-\frac{4}{(1+u)^2}\ du.
$$
Por lo tanto
\begin{align}
J&=4\int_0^1\frac{\ln^2u}{(3-u)(1+u)}\ dt\\
y={\large\int_0^1}\left[\frac{\ln^2u}{u+1}-\frac{\ln^2u}{u-3}\right]\ du\tag4
\end{align}
donde es fácil probar que
$$
\int\frac{\ln^2x}{x+a}\ dx=2\operatorname{Li}_2\left(-\frac xa\right)\ln x-2\operatorname{Li}_3\left(-\frac xa\right)+\ln\left(\frac{x+a}\right)\ln^2x+C.\tag5
$$
El resto es sólo cuestión técnica y dejo a David. Tenga en cuenta que, la técnica similar se puede utilizar para evaluar $I_5$ y $I_6$ en su cálculo.
