Considere la posibilidad de
$$\int_0^{\infty} dx \, e^{i (a x^2 - b/x^2)}$$
Considerando una cuña en el plano complejo de ángulo de $\pi/4$ y el uso del teorema de Cauchy, usted puede demostrar que esta integral es igual a
$$e^{i \pi/4} e^{2 \sqrt{a b}} \int_0^{\infty} dx \, e^{-(\sqrt{a} x + \sqrt{b}/x)^2}$$
Deje $u = \sqrt{a} x + \sqrt{b}/x$, luego
$$dx = \frac{1}{2 \sqrt{a}}\left (1 \pm \frac{u}{\sqrt{u^2-4 \sqrt{a b}}} \right )du$$
Tenga en cuenta que hay dos ramas, por lo que la integración de más de $u$ resultados en las dos integrales:
$$e^{i \pi/4} \frac{e^{2 \sqrt{a b}}}{2 \sqrt{a}} \left [\int_{2 \sqrt{\sqrt{a b}}}^{\infty} du \left (1 + \frac{u}{\sqrt{u^2-4 \sqrt{a b}}} \right ) e^{-u^2} - \int_{2 \sqrt{\sqrt{a b}}}^{\infty} du \left (1 - \frac{u}{\sqrt{u^2-4 \sqrt{a b}}} \right ) e^{-u^2}\right ] $$
que se simplifica a
$$e^{i \pi/4} \frac{e^{2 \sqrt{a b}}}{\sqrt{a}}\int_{2 \sqrt{\sqrt{a b}}}^{\infty} du \frac{u}{\sqrt{u^2-4 \sqrt{a b}}} e^{-u^2}$$
lo cual resulta ser muy integrable; el resultado es
$$\int_0^{\infty} dx \, e^{i (a x^2 + b/x^2)}=e^{i \pi/4} \sqrt{\frac{\pi}{a}}e^{-2 \sqrt{a b}}$$
Ahora considere la posibilidad de
$$\int_0^{\infty} dx \, e^{i (a x^2 + b/x^2)}$$
Por el mismo razonamiento, esta integral es igual a
$$e^{i \pi/4} \sqrt{\frac{\pi}{a}}e^{-i 2 \sqrt{a b}}$$
El deseado integral es la mitad de la parte real de la diferencia entre estas dos integrales, es decir,
$$\int_0^{\infty} dx \sin{\left ( a x^2\right )} \sin{\left (\frac{b}{x^2}\right)} = \frac12 \Re{\left[\int_0^{\infty} dx \, e^{i (a x^2 - b/x^2)} - \int_0^{\infty} dx \, e^{i (a x^2 + b/x^2)} \right]}$$
Por lo tanto, la conversión de la exponencial para las funciones hiperbólicas (por simetría), tengo
$$\int_0^{\infty} dx \sin{\left ( a x^2\right )} \sin{\left (\frac{b}{x^2}\right)} = \frac14 \sqrt{\frac{\pi}{2 a}} \left[\left (\cosh{\left(2 \sqrt{a b}\right)}-\cos{\left(2 \sqrt{a b}\right)}\right) - \left (\sinh{\left(2 \sqrt{a b}\right)}-\sin{\left(2 \sqrt{a b}\right)}\right) \right]$$