Tenga en cuenta que
$$
\int_0^\infty\int_0^\infty \sin (x^2+y^2)\,\mathrm dx\,\mathrm dy=
\operatorname{Im}\left[\int_0^\infty\int_0^\infty \exp (i(x^2+y^2))\,\mathrm dx\,\mathrm dy\right]
$$
así, recordando que $\int f(x)\, \mathrm dx=\int f(y)\, \mathrm dy$
$$
\int_0^\infty\int_0^\infty \exp (i(x^2+y^2))\,\mathrm dx\,\mathrm dy=
\int_0^\infty \exp(ix^2) \,\mathrm dx\int_0^\infty \exp (iy^2)\,\mathrm dy=
\left(\int_0^\infty \exp(ix^2) \,\mathrm dx \right)^2
$$
La expansión de la $\exp (ix^2)$ a $\cos x^2+i\sin x^2$, nos encontramos con
$$
\left(\int_0^\infty \exp(ix^2) \,\mathrm dx \right)^2=
\left(\int_0^\infty \cos x^2+i\sin x^2 \,\mathrm dx \right)^2=\left((1+i)\frac{1}{2}\sqrt{\frac{\pi}{2}}\right)^2=
2i \cdot \frac{\pi}{8}=
i\frac{\pi}{4}
$$
Así, tomando la parte imaginaria, vemos que la respuesta es $\frac{\pi}{4}$. Como un bono adicional, hemos de tomar la parte real de la respuesta ($0$) para determinar que $\int_0^\infty\int_0^\infty \cos (x^2+y^2)\,\mathrm dx\,\mathrm dy=0$
Aquí es una alternativa de la prueba:
Si usamos coordenadas polares, vemos ($x=r\cos \theta$, $x=r\sin \theta$, $\mathrm dx\,\mathrm dy = r\mathrm dr\,\mathrm d\theta$)
$$
\int_0^\infty\int_0^\infty \sin (x^2+y^2)\,\mathrm dx\,\mathrm dy=
\int_{0}^{2\pi}\int_0^\infty r\sin (r^2)\,\mathrm dr\,\mathrm d\theta
$$
que diverge. Así, se introduce un "dummy función," $\exp(-\delta (x^2+y^2))$ que es igual a $1$ al $\delta \to 0$. A continuación,
$$
\int_0^\infty\int_0^\infty \exp(-\delta (x^2+y^2))\sin (x^2+y^2)\,\mathrm dx\,\mathrm dy=
\int_{0}^{\pi/2}\int_0^\infty r\exp(-\delta del r^2)\sin (r^2)\,\mathrm dr\,\mathrm d\theta=$$
$$a=\frac{\pi}{2} \int_0^\infty r\exp(-\delta del r^2)\sin (r^2)\,\mathrm dr
$$
La sustitución de $r^2=u$, $r \mathrm dr = \frac{1}{2}\mathrm du$, la integral se convierte en
$$\frac{\pi}{4} \int_0^\infty \exp(-\delta u)\sin (u)\,\mathrm du= \frac{\pi}{4(\delta^2+1)}$$
y vemos que cuando la $\delta \to 0$ la integral converge a $\frac{\pi}{4}$.