Por desgracia, no tengo ninguna idea inteligente para evaluar su integralidad. En su lugar, seguiré la línea de ataque sugerida por usted y escribiré $$\tanh^{-1} (x) = \frac{1}{2} \ln \left (\frac{1 + x}{1 - x} \right ).$$
Haciendo esto la integral se convierte en \begin{align*} I &= \frac{1}{2} \int_0^1 \ln \left (\frac{1 + x}{1 - x} \right ) \frac{\ln x}{x(1 - x^2)} \, dx\\ &= \frac{1}{2} \int_0^1 \ln \left (\frac{1 - x^2}{(1 - x)^2} \right ) \frac{\ln x}{x(1 - x^2)} \, dx\\ &= \frac{1}{2} \int_0^1 \frac{\ln (1 - x^2) \ln x}{x(1 - x^2)} \, dx - \int_0^1 \frac{\ln (1 - x) \ln x}{x (1 - x^2)} \, dx\\ &= \frac{1}{2} I_1 - I_2. \end{align*}
La integral $I_1$
Ejecución de la sustitución $x \mapsto \sqrt{x}$ da $$I_1 = \frac{1}{4} \int_0^1 \frac{\ln (1 - x) \ln x}{x(1 - x)} \, dx.$$ Utilizando el función generadora de los números armónicos $H_n$ , a saber $$\sum_{n = 1}^\infty H_n x^n = - \frac{\ln (1 - x)}{1 - x},$$ tenemos $$I_1 = -\frac{1}{4} \sum_{n = 1}^\infty \int_0^1 x^{n - 1} \ln x \, dx.$$
Observando que $$\int_0^1 x^{n - 1} \ln x \, dx = -\frac{1}{n^2},$$ un resultado que puede establecerse utilizando la integración por partes, la integral se convierte en $$I_1 = \frac{1}{4} \sum_{n = 1}^\infty \frac{H_n}{n^2}.$$
La suma resultante, conocida como Suma de Euler se puede encontrar fácilmente (ver ici por ejemplo). Su valor es $$\sum_{n = 1}^\infty \frac{H_n}{n^2} = 2 \zeta (3).$$ Así, $$I_1 = \int_0^1 \frac{\ln (1 - x^2) \ln x}{x(1 - x^2)} \, dx = \frac{1}{2} \zeta (3).$$
La integral $I_2$
A partir de una descomposición parcial de la fracción $$\frac{1}{x(1 - x^2)} = \frac{1}{x} + \frac{1}{2(1 - x)} + \frac{1}{2(1 + x)},$$ la integral para $I_2$ puede escribirse como \begin{align*} I_2 &= \int_0^1 \frac{\ln (1 - x) \ln x}{x} \, dx + \frac{1}{2} \int_0^1 \frac{x \ln x \ln (1 - x)}{1 - x} \, dx + \frac{1}{2} \int_0^1 \frac{x \ln x \ln (1 - x)}{1 + x} \, dx\\ &= I_\alpha + \frac{1}{2} I_\beta + \frac{1}{2} I_\gamma. \end{align*}
Las dos primeras integrales son relativamente fáciles de encontrar, la tercera es más difícil.
Para la primera \begin{align*} I_\alpha &= \int_0^1 \frac{\ln (1 - x) \ln x}{x} \, dx\\ &= -\text{Li}_2 (x) \ln x \Big{|}^1_0 + \int_0^1 \frac{\text{Li}_2 (x)}{x} \, dx\\ &= \int_0^1 \frac{\text{Li}_2 (x)}{x} \, dx\\ &= \text{Li}_3 (x) \Big{|}_0^1 = \text{Li}_3 (1) = \zeta (3). \end{align*}
Para el segundo \begin{align*} I_\beta &= \int_0^1 \frac{x \ln x \ln (1- x)}{1- x} \, dx, \end{align*} volvemos a hacer uso de la función generadora de los números armónicos. De este modo, tenemos $$I_\beta = - \sum_{n = 1}^\infty H_n \int_0^1 x^{n + 1} \ln x \, dx.$$
Por partes, se puede demostrar que $$\int_0^1 x^{n + 1} \ln x \, dx = -\frac{1}{(n + 2)^2},$$ así $$I_\beta = \sum_{n = 1}^\infty \frac{H_n}{(n + 2)^2}.$$
Para hallar la suma resultante comenzamos por desplazar el índice de la suma $n \mapsto n - 1$ . Así, $$I_\beta = \sum_{n = 2}^\infty \frac{H_{n - 1}}{(n + 1)^2}.$$ Ahora a partir de las propiedades para los números armónicos $$H_n = H_{n - 1} + \frac{1}{n}. \tag1$$ Así, \begin{align*} I_\beta &= \sum_{n = 2}^\infty \frac{H_n}{(n + 1)^2} - \sum_{n = 2}^\infty \frac{1}{n(n + 1)^2}\\ &= \sum_{n = 1}^\infty \frac{H_n}{(n + 1)^2} - \sum_{n = 1}^\infty \frac{1}{n(n + 1)^2}. \end{align*}
En la primera suma, desplazando de nuevo el índice de suma en $n \mapsto n - 1$ y aplicando la propiedad (1) se obtiene \begin{align*} \sum_{n = 1}^\infty \frac{H_n}{(n + 1)^2} &= \sum_{n = 2}^\infty \frac{H_n}{n^2} - \sum_{n = 2}^\infty \frac{1}{n^3} = \sum_{n = 1}^\infty \frac{H_n}{n^2} - \sum_{n = 1}^\infty \frac{1}{n^3} = 2 \zeta (3) - \zeta (3) = \zeta (3). \end{align*}
Para la segunda suma, como $$\frac{1}{n(n + 1)^2} = \frac{1}{n} - \frac{1}{n + 1} - \frac{1}{(n + 1)^2},$$ tenemos \begin{align*} \sum_{n = 1}^\infty \frac{1}{n(n + 1)^2} &= \sum_{n = 1}^\infty \left (\frac{1}{n} - \frac{1}{n + 1} \right ) - \sum_{n = 1}^\infty \frac{1}{(n + 1)^2}. \end{align*} Los primeros telescopios de suma para $1$ . Para la segunda suma, es $$\sum_{n = 1}^\infty \frac{1}{(n + 1)^2} = \sum_{n = 2}^\infty \frac{1}{n^2} = \sum_{n = 1}^\infty \frac{1}{n^2} - 1 = \zeta (2) - 1.$$ Así que $$\sum_{n = 1}^\infty \frac{1}{n(n + 1)^2} = 1 - (\zeta (2) - 1) = 2 - \zeta (2),$$ dando $$I_\beta = \zeta (3) - (2 - \zeta (2)) = \zeta (3) + \zeta (2) - 2.$$
La integral $I_\gamma$
Ahora, lo más difícil. Para evaluarlo utilizaremos sumas infinitas dobles. Como $$\frac{\ln (1 - x)}{1 + x} = -\sum_{k = 0}^\infty \sum_{n = 0}^\infty \frac{(-1)^k}{n + 1} x ^{x + k + 1},$$ la integral puede reescribirse como $$I_\gamma = - \sum_{k = 0}^\infty \sum_{n = 0}^\infty \frac{(-1)^k}{n + 1} \int_0^1 x^{n + k + 2} \ln x \, dx.$$ Como $$\int_0^1 x^{n + k + 2} \ln x \, dx = - \frac{1}{(n + k + 3)^2},$$ podemos escribir $$I_\gamma = \sum_{k = 0}^\infty \sum_{n = 1}^\infty \frac{(-1)^k}{(n + 1)(n + k + 3)^2}.$$
Por una descomposición parcial de la fracción tenemos $$\frac{1}{(n + 1)(n + k + 3)^2} = \frac{1}{(k + 2)^2(n + 1)} - \frac{1}{(k + 2)^2 (k + n + 3)} - \frac{1}{(k + 2)(k + n + 3)^2}.$$ Ahora para la suma infinita interior sobre $n$ tenemos \begin{align*} \sum_{n = 0}^\infty \frac{1}{(n + 1)(n + k + 3)^2} &= \sum_{n = 0}^\infty \left [\frac{1}{(k + 2)^2(n + 1)} - \frac{1}{(k + 2)^2 (k + n + 3)} - \frac{1}{(k + 2)(k + n + 3)^2} \right ]\\ &= \frac{1}{(k + 2)^2} \sum_{n = 1}^{k + 2} \frac{1}{n} - \frac{1}{k + 2} \sum_{n = k + 3}^\infty \frac{1}{n^2}\\ &= \frac{1}{(k + 2)^2} H_{k + 2} - \frac{1}{k + 2} \sum_{n = 1}^\infty \frac{1}{n^2} + \frac{1}{k + 2} \sum_{n = 1}^{k + 2} \frac{1}{n^2}\\ &= \frac{H_{k + 2}}{(k + 2)^2} - \frac{\zeta (2)}{k + 2} + \frac{H^{(2)}_{k + 2}}{k + 2}. \end{align*} Aquí $H^{(a)}_n$ denota el Números armónicos generalizados .
Así, $$I_\gamma = \sum_{k = 0}^\infty \frac{(-1)^k H_{k + 2}}{(k + 2)^2} - \zeta (2) \sum_{k = 0}^\infty \frac{(-1)^k}{k + 2} + \sum_{k = 0}^\infty \frac{(-1)^k H^{(2)}_{k + 2}}{k + 2}.$$
Para la primera suma, dejemos $k \mapsto k - 2$ entonces $$S_1 = \sum_{k = 2}^\infty \frac{(-1)^k H_k}{k^2} = 1 + \sum_{k = 1}^\infty \frac{(-1)^k H_k}{k^2} = 1 + A(1,2).$$
Aquí $$A(p,q) = \sum_{k = 1}^\infty \frac{(-1)^{k + 1} H^{(p)}_k}{k^q},$$ corresponden a la sumas alternas de Euler cuyos primeros valores se pueden encontrar ici . Desde $A(1,2) = \frac{5}{8} \zeta (3)$ tenemos $$S_1 = 1 - \frac{5}{8} \zeta (3).$$
Para la segunda suma $$S_2 = \sum_{k = 0}^\infty \frac{(-1)^k}{k + 2} = -\sum_{k = 1}^\infty \frac{(-1)^{k + 1}}{k} + 1 = -\ln (2) + 1.$$
Para la tercera suma, dejemos $k \mapsto k - 2$ entonces $$S_3 = \sum_{k = 2}^\infty \frac{(-1)^k H^{(2)}_k}{k} = 1 - \sum_{k = 1}^\infty \frac{(-1)^{k + 1} H^{(2)}_k}{k} = 1 - A(2,1).$$ Y como $A(2,1) = \zeta (3) - \frac{1}{2} \zeta (2) \ln (2)$ tenemos $$S_3 = 1 + \frac{1}{2} \zeta (2) \ln (2) - \zeta (3).$$
Así que finalmente \begin{align*} I_\gamma &= \left (1 - \frac{5}{8} \zeta (3) \right ) - \zeta (2) \left (1 - \ln (2) \right ) + \left (1 + \frac{1}{2} \zeta (2) \ln (2) - \zeta (3) \right )\\ &= -\frac{13}{8} \zeta (3) + 2 - \zeta (2) + \frac{3}{2} \zeta (2) \ln (2). \end{align*}
Así que al combinar todos los resultados encontrados tenemos \begin{align*} I_2 &= I_\alpha + \frac{1}{2} I_\beta + \frac{1}{2} I_\gamma\\ &= \zeta (3) + \frac{1}{2} \left (\zeta (3) + \zeta (2) - 2 \right ) + \frac{1}{2} \left (-\frac{13}{8} \zeta (3) + 2 - \zeta (2) + \frac{3}{2} \zeta (2) \ln (2) \right )\\ &= \frac{11}{16} \zeta (3) + \frac{3}{4} \zeta (2) \ln (2). \end{align*} Y \begin{align*} I &= \frac{1}{2} I_1 - I_2\\ &= \frac{1}{4} \zeta (3) - \left (\frac{11}{16} \zeta (3) + \frac{3}{4} \zeta (2) \ln (2) \right )\\ &= -\frac{7}{16} \zeta (3) - \frac{3}{4} \zeta (2) \ln (2), \end{align*} o $$\int_0^1 \frac{\tanh^{-1} (x) \ln (x)}{x(1 - x^2)} \, dx = -\frac{7}{16} \zeta (3) - \frac{\pi^2}{8} \ln (2),$$ según sea necesario.