Esta respuesta puede ser innecesaria después de la bonita respuesta de M.N.C.E., pero por si sirve de algo aquí hay un enfoque alternativo.
Empecemos por transformar la integral mediante la siguiente sustitución de Euler:
$$\sqrt{1-x^2}=1-xt.$$
Resolviendo la variable $t$ en función de $x$ y viceversa, encontramos,
$$t=\frac{1-\sqrt{1-x^2}}{x},$$
y
$$x=\frac{2t}{1+t^2}.$$
La ventaja de esta sustitución sobre la sugerida en el enunciado de la pregunta es que convierte rápidamente el integrando en un producto de una función racional y el logaritmo (al cuadrado) de una función racional. Una sola integración por partes puede entonces reducir la potencia del logaritmo a $1$ :
$$\begin{align} \mathcal{I} &=\int_{0}^{1}\ln^2{\left(\sqrt{1+x}-\sqrt{1-x}\right)}\,\mathrm{d}x\\ &=\int_{0}^{1}\ln^2{\left(\frac{|1+t|}{\sqrt{1+t^2}}-\frac{|1-t|}{\sqrt{1+t^2}}\right)}\cdot\frac{2(1-t^2)}{(1+t^2)^2}\,\mathrm{d}t\\ &=2\int_{0}^{1}\frac{(1-t^2)}{(1+t^2)^2}\ln^2{\left(\frac{1+t-1+t}{\sqrt{1+t^2}}\right)}\,\mathrm{d}t\\ &=2\int_{0}^{1}\frac{(1-t^2)}{(1+t^2)^2}\ln^2{\left(\frac{2t}{\sqrt{1+t^2}}\right)}\,\mathrm{d}t\\ &=\frac12\int_{0}^{1}\frac{(1-t^2)}{(1+t^2)^2}\ln^2{\left(\frac{4t^2}{1+t^2}\right)}\,\mathrm{d}t\\ &=\left[\frac{t}{1+t^2}\ln^2{\left(\frac{4t^2}{1+t^2}\right)}\right]_{0}^{1}-\frac12\int_{0}^{1}\frac{t}{1+t^2}\cdot\frac{4\ln{\left(\frac{4t^2}{1+t^2}\right)}}{t(1+t^2)}\,\mathrm{d}t\\ &=\frac{\ln^2{(2)}}{4}-2\int_{0}^{1}\frac{\ln{\left(\frac{4t^2}{1+t^2}\right)}}{(1+t^2)^2}\,\mathrm{d}t.\\ \end{align}$$
La última integral, por supuesto, se puede evaluar sistemáticamente en términos de dilogaritmos.