Primer sustituto $u= x^{\alpha}$ en la integral para ver el problema se reduce a preguntar la misma pregunta acerca de la integral de la $\displaystyle \int^{\infty}_0 \dfrac{\sin x}{x^a} dx$ $a\in (0,1).$
Para mostrar que es Riemann integrable, consideramos la integral sobre la $(0,1)$ $[1,\infty)$ por separado. Para mostrar la integral sobre la $[1,\infty)$ existe, integrar por partes. Tendrás
$$ \int^R_1 \frac{\sin x}{x^a} dx = -x^{-a} \cos x \mid^R_1 - a \int^R_1 \frac{\cos x}{x^{a+1}} dx$$
y debe ser fácil para terminar de allí.
A ver $\displaystyle \int^1_0 \frac{\sin x}{x^a} dx$ existe nota que $\sin x \sim x$ $\displaystyle \int^1_0 \frac{x}{x^a} dx$ es finito.
Para mostrar que no es Lebesgue integrable, es suficiente para mostrar $$\int^{\infty}_0 \frac{|\sin x|}{x^a} dx = \sum_{k=0}^{\infty} (-1)^k \int^{(k+1)\pi}_{k\pi} \frac{\sin x}{x^a} dx = \sum_{k=0} \int^{\pi}_0 \frac{\sin x}{(x+k\pi)^a} dx$$ diverges, which is not hard with a basic estimate on the last integral. Note that the integral over $[0,\pi]$ is certainly greater than the integral over $[\pi/4,3\pi/4]$ and on that interval we have $\sin x \geq \frac{1}{\sqrt{2}}$ para
$$\int^{\pi}_0 \frac{\sin x}{(x+k\pi)^a} dx > \frac{1}{\sqrt{2}} \int^{3\pi/4}_{\pi/4} \frac{1}{( x+k\pi)^a} dx > \frac{1}{\sqrt{2}} \cdot \frac{\pi}{2} \frac{1}{( 3\pi/4 + k\pi)^a}= \frac{1}{2\sqrt{2}\pi^{a-1}}\frac{1}{(k+3/4)^a} .$$