Si el objetivo de la pregunta es para probar que
$$f(a,b) = \int_0^\infty e^{-ax^3-bx^2}\mathrm dx,$$
satisface
$$3ab\frac{\partial^2 f}{\partial b^2}-3a\frac{\partial f}{\partial b}-2b^2\frac{\partial f}{\partial a} = 1,$$
entonces esto se puede hacer mirando todos los términos al mismo tiempo, no por separado.
Voy a suponer que la diferenciación bajo el signo integral no es el problema de la parte.
Conectando, obtenemos los siguientes:
$$3ab\frac{\partial^2f}{\partial b^2}-3a\frac{\partial f}{\partial b}-2b^2\frac{\partial f}{\partial a} = \int_0^\infty \left(3abx^4+3ax^2+2b^2 x^3\right)e^{-ax^3-bx^2}\mathrm dx.$$
Ahora, observa que
$$\int_0^\infty 3ax^2e^{-ax^3 - bx^2}\mathrm dx = \int_0^\infty ax^3\left(3ax^2 + 2bx\right)e^{-ax^3-bx^2}\mathrm dx ,$$
por integración por partes.
Esto significa que, después de factoring, obtenemos
$$\int_0^\infty \left(3abx^4+3ax^2+2b^2 x^3\right)e^{-ax^3-bx^2}\mathrm dx = \int_0^\infty \left(3ax^2+2bx\right) \left(ax^3+bx^2\right) e^{-ax^3-bx^2}\mathrm dx.$$
Mediante la sustitución de $u = ax^3 + bx^2$, esto se reduce a
$$\int_0^\infty ue^{-u}\mathrm du = 1,$$
de dónde obtenemos la quería identidad.