$$x^{\sqrt{x}} = e^{\sqrt{x}\ln(x)} = \sum_{k = 0}^{+\infty} \frac{(\sqrt{x}\ln(x))^k}{k!}$$
De allí que usted consigue
$$\sum_{k = 0}^{+\infty} \frac{1}{k!} \int \left(\sqrt{x}\ln(x)\right)^k\ \text{d}x$$
La repetición de una integración por partes, se obtiene:
$$\int \left(\sqrt{x}\ln(x)\right)^k\ \text{d}x = \Gamma\left[1 + \frac{k}{2},\ -\left(1 + \frac{k}{2}\right)\ln(x)\right]\ln^{1 + k/2}(x)\left(-\left(1 + \frac{k}{2}\right)\ln(x)\right)^{-1 - k/2}$$
Así que al final hemos
$$\sum_{k = 0}^{+\infty} \frac{1}{k!}\left(\Gamma\left[1 + \frac{k}{2},\ -\left(1 + \frac{k}{2}\right)\ln(x)\right]\ln^{1 + k/2}(x)\left(-\left(1 + \frac{k}{2}\right)\ln(x)\right)^{-1 - k/2}\right)$$
La Función Gamma
Más aquí acerca de la función Gamma
La Función Gamma Incompleta
Más aquí acerca de la Función Gamma incompleta (que es el usado uno)