Una respuesta que no hace uso de funciones hipergeométricas:
Primera integrar por partes usando las funciones de $u(x)=x\ln x$$v(x)=-\sqrt{1-x^2}$, $u'(x)=\ln x +1$ $v'(x)=\frac{x}{\sqrt{1-x^2}}$ y obtenemos
$$I=\int_0^1\frac{x^2\ln x}{\sqrt{1-x^2}}\mathrm dx=
\underbrace{\left[-x\ln x\sqrt{1-x^2}\right]_0^1}_{=0}+\int_0^1(\ln x+1)\sqrt{1-x^2}\,\mathrm dx.$$
La integral de la $\int_0^1\sqrt{1-x^2}\mathrm dx=\frac\pi4$ es fácil. Ahora vamos a concentrarnos en
$$J=\int_0^1\ln x \,\sqrt{1-x^2}\mathrm dx$$
por lo que parece un trigonométricas cambio de variable de trabajo. Dejemos de $x=\cos\theta$, $\mathrm dx=-\sin\theta\mathrm d\theta$, entonces
$$J=\int_0^{\pi/2}\ln(\cos\theta)\sin^2\theta\mathrm d\theta
=\int_0^{\pi/2}\ln(\cos\theta)(1-\cos^2\theta)\mathrm d\theta.\tag1$$
Podemos utilizar el resultado
$$\int_0^1\ln(\sin\theta)\,\mathrm d\theta=\int_0^{\pi/2}\ln(\cos\theta)\,\mathrm d\theta=-\frac\pi2\ln2$$
(ver por ejemplo este post para una derivación). Por lo tanto, tenemos
$$J=-\frac\pi2\ln2-\int_0^{\pi/2}\ln(\cos\theta)\cos^2\theta\,\mathrm d\theta.\tag2$$
Sumando (1) y (2) obtenemos
$$2J=-\frac\pi2\ln2+\int_0^{\pi/2}\ln(\cos\theta)\left(\sin^2\theta-\cos^2\theta\right)\,\mathrm d\theta=-\frac\pi2\ln2-\int_0^{\pi/2}\ln(\cos\theta)\cos(2\theta)\,\mathrm d\theta.$$
Finalmente nos vamos a integrar por partes (con $u(x)=\ln(\cos\theta)$ y $v(x)=\frac12\sin(2\theta)$, $u'(x)=-\tan\theta$ y $v'(x)=\cos(2\theta)$)
$$\begin{split}\int_0^{\pi/2}\ln(\cos\theta)\cos(2\theta)\,\mathrm d\theta&=
\underbrace{\left[\ln(\cos\theta)\frac12\sin(2\theta)\right]_0^{\pi/2}}_{=0}
+\int_0^{\pi/2}\tan\theta\,\frac12\sin2\theta\mathrm d\theta\\
&=\int_0^{\pi/2}\sin^2\theta\,\mathrm d\theta=\frac\pi4
\end{split}$$
Llegamos $2J=-\frac\pi2\ln2-\frac\pi4$ y por lo tanto
$$I=-\frac\pi4\ln2-\frac\pi8+\frac\pi4=\boxed{\frac\pi8-\frac\pi4\ln2}.$$