Primero vamos a $x = \tan u$, obtenemos
\begin{equation}
{\displaystyle\int}x^2\sqrt{x^2+1}\,\mathrm{d}x
={\displaystyle\int}\sec^2\left(u\right)\tan^2\left(u\right)\sqrt{\tan^2\left(u\right)+1}\,\mathrm{d}u
\end{equation}
Utilizando el hecho de que
$\tan^2 u + 1 =\sec^2 u$
tenemos
\begin{equation}
{\displaystyle\int}x^2\sqrt{x^2+1}\,\mathrm{d}x
={\displaystyle\int}\sec^3\left(u\right)\tan^2\left(u\right)\,\mathrm{d}u
={\displaystyle\int}\sec^3\left(u\right)\left(\sec^2\left(u\right)-1\right)\,\mathrm{d}u
=
A_5 - A_3
\end{equation}
Ampliar a conseguir
\begin{equation}
{\displaystyle\int}x^2\sqrt{x^2+1}\,\mathrm{d}x
={\displaystyle\int}\sec^5\left(u\right)\,\mathrm{d}u-{\displaystyle\int}\sec^3\left(u\right)\,\mathrm{d}u
\end{equation}
Permite trabajar con $A_5$, utilizando la fórmula de reducción,
\begin{equation}
\small{{\displaystyle\int}\sec^{n}\left(u\right)\,\mathrm{d}u={{\dfrac{n-2}{n-1}}}\int \sec^{n-2}\left(u\right)\,\mathrm{d}u+\dfrac{\sec^{n-2}\left(u\right)\tan\left(u\right)}{n-1}}
\end{equation}
lo que nos da
\begin{equation}
A_5 =\dfrac{\sec^3\left(u\right)\tan\left(u\right)}{4}+{{\dfrac{3}{4}}}A_3
\end{equation}
y
\begin{equation}
A_3 =\dfrac{\sec\left(u\right)\tan\left(u\right)}{2}+\frac{1}{2} A_1
\end{equation}
Ahora $A_1$ es fácil y es conocido por ser $A_1 = \ln\left(\tan\left(u\right)+\sec\left(u\right)\right)$. Para conectar de nuevo hacia arriba obtenemos
\begin{equation}
A_3 =\dfrac{\ln\left(\tan\left(u\right)+\sec\left(u\right)\right)}{2}+\dfrac{\sec\left(u\right)\tan\left(u\right)}{2}
\end{equation}
y. por lo tanto el original de la integral se convierte en
\begin{equation}
{\displaystyle\int}x^2\sqrt{x^2+1}\,\mathrm{d}x
=-\dfrac{\ln\left(\tan\left(u\right)+\sec\left(u\right)\right)}{8}+\dfrac{\sec^3\left(u\right)\tan\left(u\right)}{4}-\dfrac{\sec\left(u\right)\tan\left(u\right)}{8}
\end{equation}
Volver a conectar el cambio de variable y simplificando obtenemos
\begin{equation}
{\displaystyle\int}x^2\sqrt{x^2+1}\,\mathrm{d}x
=\dfrac{\sqrt{x^2+1}\left(2x^3+x\right)-\ln\left(\left|\sqrt{x^2+1}+x\right|\right)}{8}+C
\end{equation}
Ahora con la integración de los límites, tenemos en la forma más simple
\begin{equation}
\int_0^1 x^2\sqrt{x^2+1}\,\mathrm{d}x
=
-\dfrac{\operatorname{arsinh}\left(1\right)-3\cdot\sqrt{2}}{8}
\end{equation}