El cumplimiento de una sustitución de $x \mapsto \sqrt{x}$ la integral se convierte en
$$I = \frac{1}{4} \int_0^1 \frac{\ln x \ln (1 - x)}{\sqrt{1 - x}} \, dx.$$
A partir de la definición de la función beta de Euler, es decir,
$$\text{B}(x,y) = \int_0^1 t^{x - 1} (1 - t)^{y - 1} \, dt,$$
observamos que
$$\lim_{x \to 1} \lim_{y \to 1/2} \partial_x \partial_y \text{B}(x,y) = \int_0^1 \frac{\ln t \ln (1 - t)}{\sqrt{1 - t}} \, dt.$$
En la búsqueda de los necesarios derivados de la función Beta, obtenemos
$$\partial_x \partial_y \text{B}(x,y) = \text{B}(x,y) \left [\{\psi(x) - \psi(x + y)\}\{\psi(y) - \psi (x + y)\} - \psi^{(1)}(x + y) \right ].$$
Aquí $\psi(x)$ es la función digamma mientras que $\psi^{(1)}(x)$ es el trigamma función o polygamma función de orden uno.
En la toma de los límites exigidos nos quedamos con
$$\lim_{x \to 1} \lim_{y \to 1/2} \partial_x \partial_y \text{B}(x,y) = \text{B} \left (1, \frac{1}{2} \right ) \left [\{\psi(1) - \psi(3/2)\}\{\psi (1/2) - \psi(3/2)\} - \psi^{(1)}(3/2) \right ].$$
Cada uno de los valores de la digamma y polygamma funciones son bien conocidos. Son
\begin{align*}
\psi \left (\frac{1}{2} \right ) = -\gamma - \ln (4), & \quad \psi (1) = -\gamma,\\
\psi \left (\frac{3}{2} \right ) = 2 - \gamma - \ln (4),& \quad
\psi^{(1)} \left (\frac{3}{2} \right ) = 3 \zeta (2) - 4 = \frac{\pi^2}{2} - 4.
\end{align*}
Como
$$\text{B} \left (1, \frac{1}{2} \right ) = \frac{\Gamma (1) \Gamma (1/2)}{\Gamma (3/2)} = 2,$$
tenemos
$$\lim_{x \to 1} \lim_{y \to 1/2} \partial_x \partial_y \text{B}(x,y) = 16 - 4 \ln (4) - \pi^2,$$
rendimiento
$$\int_0^1 \frac{x \ln x \ln (1 - x)}{\sqrt{1 - x^2}} \, dx = 4 - \ln (4) - \frac{\pi^2}{4}.$$