Como se sugiere en el comentario, escribir la integral como
$$\Re\int_0^{\infty} dx \, e^{-(1-i) x^2} = \Re\int_0^{\infty} dx \, e^{-\sqrt{2} e^{-i \pi/4} x^2}$$
Ahora considere el siguiente contorno de la integral:
$$\oint_C dz \, e^{-\sqrt{2} e^{-i \pi/4} z^2}$$
donde $C$ es un sector circular de radio $R$ que se abre en un ángulo de $\pi/8$ con respecto al eje real positivo. Tenga en cuenta que nosotros no estaremos usando los residuos en el cálculo de la integral, ya que no existen polos dentro del contorno de $C$. Más bien, vamos a estar evaluando la integral sobre el contorno de la misma y el uso del teorema de Cauchy.
El contorno integral sobre la $C$ es igual a
$$\int_0^R dx \, e^{-\sqrt{2} e^{-i \pi/4} x^2} + i R \int_0^{\pi/8} d\theta \, e^{i \theta} \, \exp{\left[-\sqrt{2} R^2 e^{-i \pi/4 + 2 \theta}\right]}\\+e^{i \pi/8} \int_R^0 dt \,e^{-\sqrt{2} t^2} $$
Tenga en cuenta que la segunda integral se desvanece como $R \to \infty$. Su magnitud está delimitado por
$$R \int_0^{\pi/8} d\theta \, e^{-\sqrt{2} R^2 \sin{(\pi/4+2 \theta)}} \le R \int_0^{\pi/8} d\theta \, e^{-\sqrt{2} R^2/2} e^{-4 \sqrt{2} R^2 \theta/\pi} \le \frac{\pi}{4 \sqrt{2} R} e^{-\sqrt{2} R^2/2}$$
como $R \to \infty$. Además, el contorno de la integral es cero por Cauchy teorema (sin polos en el contorno). Por lo tanto,
$$\int_0^{\infty} dx \, e^{-(1-i) x^2} = e^{i \pi/8} \int_0^{\infty} dt \,e^{-\sqrt{2} t^2} = \frac12 e^{i \pi/8} \sqrt{\frac{\pi}{\sqrt{2}}}$$
Por lo tanto, tomando las piezas reales, obtenemos
$$\int_0^{\infty} dx \, e^{-x^2} \cos{x^2} = \frac{\sqrt{\pi}}{2} \frac{\cos{(\pi/8)}}{2^{1/4}} = \frac{\sqrt{\pi}}{4} \sqrt{1+\sqrt{2}}$$