EDITADO. El mayor obstáculo a la hora de calcular la integral
$$ I = \int_{1}^{\infty} (u^{\alpha} - (u-1)^{\alpha})^{2} \, du = \int_{0}^{1} x^{-2\alpha-2}(1 - (1-x)^{\alpha})^{2} \, dx $$
es que, dentro del rango $|\alpha| < \frac{1}{2}$ El término $x^{-2\alpha-2}$ tiene una singularidad en $x = 0$ que da lugar al infinito cuando no se anula adecuadamente. En palabras de orden, al dividir la integral en tres partes se obtiene
\begin{align*} I_{1} &= \int_{0}^{1} x^{-2\alpha-2} \, dx = \infty, \\ I_{2} &= -2 \int_{0}^{1} x^{-2\alpha-2}(1 - x)^{\alpha} \, dx = -\infty, \\ I_{2} &= \int_{0}^{1} x^{-2\alpha-2}(1 - x)^{2\alpha} \, dx = \infty. \end{align*}
Una forma de evitar esta catástrofe es utilizar el principio de continuación analítica. Para utilizar esta técnica, introduzcamos una integral auxiliar
$$ I(s) = \int_{1}^{\infty} u^{-s}(u^{\alpha} - (u-1)^{\alpha})^{2} \, du = \int_{0}^{1} x^{s-2\alpha-2}(1 - (1-x)^{\alpha})^{2} \, dx. $$
Para cualquier $|\alpha| < \frac{1}{2}$ no es difícil comprobar que $I(s)$ converge y define una función analítica para $\Re(s) > -2\alpha-1$ . De hecho, a partir del teorema del valor medio encontramos que $u^{\alpha} - (u-1)^{\alpha} = \Theta(u^{\alpha-1})$ como $u \to \infty$ . En consecuencia, el integrando es asintóticamente $$ u^{-s}(u^{\alpha} - (u-1)^{\alpha})^{2} = \Theta(u^{-\Re(s)+2\alpha-2}) $$ y por lo tanto se convierte en integrable.
Además, para $\Re(s) > 1+2\alpha$ tenemos $\Re(s-2\alpha-2) > -1$ y, por lo tanto, somos capaces de evaluar $I(s)$ expandiendo el cuadrado e integrando cada término resultante como sigue:
\begin{align*} I(s) &= \int_{0}^{1} x^{s-2\alpha-2} \, dx - 2 \int_{0}^{1} x^{s-2\alpha-2}(1 - x)^{\alpha} \, dx + \int_{0}^{1} x^{s-2\alpha-2}(1 - x)^{2\alpha} \, dx \\ &= \beta(s-2\alpha-1, 1) - 2\beta(s-2\alpha-1, 1+\alpha) + \beta(s-2\alpha-1, 1+2\alpha) \\ &= \Gamma(s-2\alpha-1) \left( \frac{1}{\Gamma(s-2\alpha)} - 2\frac{\Gamma(1+\alpha)}{\Gamma(s-\alpha)} + \frac{\Gamma(1+2\alpha)}{\Gamma(s)} \right). \tag{1} \end{align*}
Ahora observe que el lado derecho define una función meromorfa en todo $\Bbb{C}$ . Por tanto, por el principio de continuación analítica, (1) es válida para todo $\Re(s) > -2\alpha-1$ lejos de los polos de $\Gamma(s-2\alpha-1)$ . Ahora tomando el límite como $s \to 0$ obtenemos
\begin{align*} I &= \Gamma(-2\alpha-1) \left( \frac{1}{\Gamma(-2\alpha)} - 2\frac{\Gamma(1+\alpha)}{\Gamma(-\alpha)} \right) \\ &= -\frac{1}{2\alpha+1} - 2\beta(-2\alpha-1, 1+\alpha), \end{align*}
Esto coincide con la respuesta de Lucian, y también coincide con las pruebas numéricas con Mathematica .
RESPUESTA ANTIGUA. Parece que la forma cerrada exacta de la integral es difícil de obtener. En cambio, son posibles algunas aproximaciones. Por ejemplo, he obtenido
$$ \frac{2\alpha^{2}}{1-4\alpha^{2}} \leq I \leq \frac{2\alpha^{2}}{(1-4\alpha^{2})(\alpha + \frac{1}{2})}. $$
En particular, tenemos $I = \Theta(\alpha^{2})$ cerca de $\alpha =0$ y $I ~ \sim (4-8\alpha)^{-1}$ como $\alpha \to \frac{1}{2}^{-}$ .