Sólo has pedido una solución usando la diferenciación bajo el signo integral, pero tengo dos soluciones. Voy a compartir las dos.
Utilizando la diferenciación bajo el signo integral:
Para $a\ge 0$ , dejemos que $$I(a) = \int\limits_0^\infty\exp\Big(-x^2-\frac{a^2}{x^2}\Big)\,\mathrm dx$$
Diferenciando ambos lados con respecto a $a$ obtenemos $$I'(a) = -2\int\limits_0^\infty\frac{a}{x^2}\exp\Big(-x^2-\frac{a^2}{x^2}\Big) \,\mathrm dx$$
Sustituyendo $x\mapsto\frac ax$ obtenemos
$$I'(a) = -2 \int\limits_0^\infty\exp\Big(-x^2-\frac{a^2}{x^2}\Big)\,\mathrm dx = -2I(a) $$ La solución general para esta ecuación diferencial será $I(a) =k_1 e^{-2a}$ . Observando que $I(0) = \frac{\sqrt\pi}2$ obtenemos $k_1 = \frac{\sqrt\pi}2$ . Así, para $a\geq0$ $$ \int\limits_0^\infty\exp\Big(-x^2-\frac{a^2}{x^2}\Big)\,\mathrm dx = \frac{\sqrt\pi}2e^{-2a}$$ Poner el módulo alrededor de $a$ amplía el resultado $\forall a\in \mathbb R$ .
Utilizando la sustitución:
En el mismo $I(a) $ , sustituto $x\mapsto \frac ax$ . Esto da
$$I(a) = \int \limits_0^\infty\frac a{x^2} \exp\Big(-x^2-\frac {a^2}{x^2}\Big) \,\mathrm dx$$
Sumando las dos ecuaciones,
$$I(a) = \frac12 \int\limits_0^\infty\exp\Big(-x^2-\frac {a^2}{x^2}\Big)\Big(1+\frac a{x^2}\Big)\,\mathrm dx $$ Ahora, observamos que $x^2+\frac{a^2}{x^2}= (x-\frac ax)^2+2a $ . Teniendo esto en cuenta, sustituimos $t=x-\frac ax$ . Esto da
$$I(a) = \frac{e^{-2a}}2 \int\limits_{-\infty} ^\infty e^{-t^2}\,\mathrm dt $$ La última integral es la integral de Gauss, igual a $\sqrt\pi$ . Después de utilizar el hecho de que el integrando es par, hemos utilizado este resultado para calcular $k_1$ . Utilizando este resultado, obtenemos el mismo resultado que antes.
Comenta si hay algún error o confusión respecto a los pasos.