La confusión surge del hecho de que estás asumiendo la fórmula $$\int_0^{\infty} e^{-\left(p^2x^2+m^2/x^2\right)}\,dx=\frac{\sqrt{\pi}}{2p}e^{-2pm} $$ es válido si $p^{2}$ es imaginario y positivo y $m^{2}$ es imaginario y negativo. Pero esa fórmula suele derivarse bajo la condición de que $p$ y $m$ son parámetros reales positivos.
Pero al integrar en el plano complejo, puedes ver cómo se relacionan las dos integrales.
Dejemos que $ \displaystyle f(z) = e^{i b^{2}z^{2}} e^{-ia^{2}/z^{2}}$ y se integra alrededor de una cuña/sector de radio $R$ que hace un ángulo de $ \frac{\pi}{4}$ con el eje real positivo y se indenta alrededor de la singularidad esencial en el origen.
A lo largo del arco de la cuña, $ \displaystyle |e^{-ia^{2}/z^{2}}|= |e^{-i a^{2}/(R^{2}e^{2it})}| =e^{-a^{2} \sin 2t/R^{2}} \le 1 $ desde $ \displaystyle 0 \le t \le \frac{\pi}{4}$ .
Por lo tanto,
$$\begin{align} \Big| \int_{0}^{\pi /4} f(Re^{it}) \ i Re^{it} \ dt \Big| &\le R \int_{0}^{\pi /4} e^{-b^{2} R^{2} \sin 2t} \ dt \\ &\le R \int_{0}^{\pi /4} e^{-b^{2} R^{2} \frac{4}{\pi} t } \ dt \ \ \text{(Jordan's inequality)} \\ &= \frac{\pi}{4} \frac{1}{b^{2}R} \Big( 1-e^{-b^{2}R^{2}}\Big) \to 0 \ \text{as} \ R \to \infty .\end{align}$$
Un argumento muy similar muestra que la integral también desaparece a lo largo de la hendidura del cuarto de círculo alrededor del origen cuando el radio del cuarto de círculo va a $0$ .
Por lo tanto, ya que $f(z)$ es analítica dentro y en el contorno,
$$ \int_{0}^{\infty} f(x) \ dx - \int_{0}^{\infty} f(te^{i \pi /4}) e^{i \pi /4} \ dt =0$$
lo que implica
$$ \begin{align}\int_{0}^{\infty}e^{i b^{2}x^{2}} e^{-ia^{2}/x^{2}} \ dx &= e^{i \pi /4} \int_{0}^{\infty} e^{-b^{2}t^{2}} e^{-a^{2}/t^{2}} \ dt \\ &= e^{i \pi /4} \frac{\sqrt{\pi}}{2b} e^{-2 ab}. \end{align}$$
Y equiparar las partes reales de ambos lados de la ecuación,
$$ \begin{align} \int_{0}^{\infty} \cos \left(b^{2}x^{2} -\frac{a^{2}}{x^{2}} \right) \ dx &= \int_{0}^{\infty} \cos \left(\frac{a^{2}}{x^{2}} - b^{2} x^{2} \right) \ dx \\ &= \frac{1}{2b} \sqrt{\frac{\pi}{2}} e^{-2 ab} . \end{align}$$