Presentamos en primer lugar una aproximación directa aquí que se aplica la Regla de Leibniz para la Diferenciación de Debajo de la Integral.
Deje $I(a)$ sea la función dada por
$$I(a)=\int_a^\infty e^{-ax^2}\,dx \tag 1$$
Hacer cumplir la sustitución de $x \to x/\sqrt{a}$ rendimientos
$$\begin{align}
I(a)&=\frac{1}{\sqrt{a}}\int_{a^{3/2}}^\infty e^{-x^2}\,dx\\\\
&=\frac12 \sqrt{\frac{\pi}{a}}\left(1-\text{erf}(a^{3/2})\right) \tag 2
\end{align}$$
donde la función de error $\text{erf}(x)$ está dado por
$$\text{erf}(x)=\frac{2}{\sqrt{\pi}}\int_0^x e^{-t^2}\,dt$$
La diferenciación de los lados derechos de las $(1)$ $(2)$ e igualando los resultados revela
$$\begin{align}
-\int_a^\infty x^2e^{-ax^2}\,dx-e^{-a^3}&=-\frac14\sqrt{\frac{\pi}{a^3}}\left(1-\text{erf}(a^{3/2})\right)-\frac34 \sqrt{\pi}\text{erf}'(a^{3/2})\\\\
&=-\frac14\sqrt{\frac{\pi}{a^3}}\left(1-\text{erf}(a^{3/2})\right)-\frac32 e^{-a^3}\tag 3
\end{align}$$
Finalmente, la resolución de $(3)$ para el periodo de interés, se obtiene
$$\bbox[5px,border:2px solid #C0A000]{\int_a^\infty x^2e^{-ax^2}\,dx=\frac14\sqrt{\frac{\pi}{a^3}}\left(1-\text{erf}(a^{3/2})\right)+\frac12 e^{-a^3}}$$
como iba a ser mostrado.
Podemos derivar la fórmula en cuestión de una manera similar. Tenga en cuenta que podemos escribir
$$\begin{align}
J(a)&=\int e^{-ax^2}\,dx\\\\
&=\frac12\sqrt{\frac{\pi}{a}}\text{erf}(\sqrt{a}\,x)+C(a)
\end{align}$$
donde $C(a)$ es una constante de integración. Ahora, sobre la diferenciación con respecto a $a$, nos encontramos con
$$\begin{align}
-\int x^2 e^{-ax^2}\,dx&=-\frac14 \sqrt{\frac{\pi}{a^3}}\text{erf}(\sqrt{a}\,x)+\frac{x}{2a}e^{-ax^2}+C'(a) \tag 4\\\\
\end{align}$$
con lo cual la solución de $(4)$ para el término de interés de los rendimientos
$$\int x^2 e^{-ax^2}\,dx=\frac14 \sqrt{\frac{\pi}{a^3}}\text{erf}(\sqrt{a}\,x)-\frac{x}{2a}e^{-ax^2}-C'(a)$$
Al evaluar la integral indefinida entre los límites inferior y superior de integración, la contribución de $C'(a)$ es cero. Por lo tanto, podemos caer la integración constante y simplemente escribir
$$\bbox[5px,border:2px solid #C0A000]{\int x^2 e^{-ax^2}\,dx=\frac14 \sqrt{\frac{\pi}{a^3}}\text{erf}(\sqrt{a}\,x)-\frac{x}{2a}e^{-ax^2}}$$