Mi "respuesta": Puedo ayudarte a comenzar en la dirección correcta utilizando las siguientes dos identidades:
$$\bbox[lightgray,15px] { \int_0^1 x^n\ln(1-x)dx=-\frac{H_{n+1}}{n+1} }$$
$$\bbox[lightgray,15px] { \frac{1}{2}\ln^2(1-x)=\sum_{n=1}^\infty \frac{H_n x^{n+1}}{n+1} }$$
De estas, tenemos $$\begin{align} \int_0^1 \ln(1-\sqrt x)\ln^2(1+\sqrt x) &=\int_0^1 2x\ln(1-x)\ln^2(1+x)dx\\ &=\int_0^1 4x\ln(1-x)\sum_{n=1}^\infty \frac{(-1)^{n+1}H_n x^{n+1}}{n+1}dx\\ &=4\sum_{n=1}^\infty \frac{(-1)^{n+1}H_n}{n+1}\int_0^1 x^{n+2}\ln(1-x)dx\\ &=4\sum_{n=1}^\infty \frac{(-1)^{n}H_n}{n+1}\frac{H_{n+3}}{n+3}\\ &=4\sum_{n=1}^\infty \frac{(-1)^{n}H_nH_{n+3}}{(n+1)(n+3)} \end{align}$$
Esto es una suma de Euler y probablemente pueda calcularse utilizando algunos polilogaritmos y mucho álgebra. Las sumas de Euler se vuelven muy complicadas hacer a mano, así que aquí es donde abandono el problema y recurro a Wolfram.
RESPUESTA DE WOLFRAM: Wolfram evalúa esta integral como $$\int_0^1 \ln(1-\sqrt x)\ln^2(1+\sqrt x)=\frac{11}{4}-\frac{\pi^2}{3}$$ y en realidad da una antiderivada: