El objetivo principal es encontrar la antiderivada:
$$\int \frac{dx}{\sqrt{x+\sqrt{x+\sqrt{x}}}}~(*)$$
Pero puedo conformarme con la integral definida en $(0,1)$. Motivación:
$$\int \frac{dx}{\sqrt{x+\sqrt{x}}}=2\sqrt{x+\sqrt{x}}-\ln (1+2\sqrt{x}+2\sqrt{x+\sqrt{x}})+C$$
Esta integral es fácil de resolver usando la siguiente sustitución:
$$x=u^4$$
$$\sqrt{x+\sqrt{x}}=u\sqrt{1+u^2}$$
Ahora consideremos la integral $(*)$. Si tomamos $x=u^8$, obtenemos la integral:
$$(*)=\int \frac{8u^6du}{\sqrt{u^6+\sqrt{1+u^4}}}$$
Todavía parece mal, y Mathematica no puede resolverlo (ni la integral definida tampoco).
Otra forma que intenté es mediante las siguientes sustituciones:
$$\sqrt{x+\sqrt{x}}=\frac{y}{2}$$
$$(*)=\int \frac{y(\sqrt{1+y^2}-1)dy}{\sqrt{1+y^2} \sqrt{2+2y+y^2-2\sqrt{1+y^2}}}$$
$$y=\sinh t$$
$$(*)=\int \frac{\sinh t(\cosh t-1)dt}{\sqrt{(\cosh t-1)^2+2\sinh t}}$$
Creas o no, Mathematica realmente resuelve esta integral, pero la expresión resultante es tan larga y complicada que parece inútil (y por larga me refiero a tres veces el tamaño de mi pantalla).
¿Qué opinas, existe una solución razonable en forma cerrada para esta integral? O al menos, la integral definida:
$$\int_0^1 \frac{dx}{\sqrt{x+\sqrt{x+\sqrt{x}}}}=\int_0^{\sinh^{-1} \sqrt{8}} \frac{\sinh t(\cosh t-1)dt}{\sqrt{(\cosh t-1)^2+2\sinh t}}$$
Edición:
$$\int \frac{\sinh t(\cosh t-1)dt}{\sqrt{(\cosh t-1)^2+2\sinh t}}=\sqrt{(\cosh t-1)^2+2\sinh t}-\int \frac{\cosh t~dt}{\sqrt{(\cosh t-1)^2+2\sinh t}}$$
Ahora hagamos otra sustitución:
$$e^t=v$$
$$\int \frac{\cosh t~dt}{\sqrt{(\cosh t-1)^2+2\sinh t}}=\int \frac{(v^2+1)~dv}{v\sqrt{v-1}\sqrt{v^3+v^2+7v-1}}$$
Ahora veo la conexión con integrales elípticas (que Mathematica proporciona como parte de la respuesta).
Probablemente solo necesitemos factorizar:
$$v^3+v^2+7v-1$$
Los límites $x \in (0,1)$ se convertirán en $v \in (1,3+\sqrt{8})$. También podemos hacer otro cambio de variable, dejando solo una raíz y obteniendo una función más manejable (finita en todas partes en la línea real):
$$z=\sqrt{v-1}$$
$$\int \frac{(v^2+1)~dv}{v\sqrt{v-1}\sqrt{v^3+v^2+7v-1}}=2\int \frac{(z^4+2z^2+2)~dz}{(z^2+1)\sqrt{z^6+4z^4+12z^2+8}}=$$
$$=2\int \frac{dz}{(z^2+1)\sqrt{z^6+4z^4+12z^2+8}}+2\int \frac{(z^2+1)~dz}{\sqrt{z^6+4z^4+12z^2+8}}$$
