El teorema de Green es: $$ \int_F\left(\frac{\partial M}{\partial x} - \frac{\partial F}{\partial y}\right)dxdy = \oint_{\partial F} (L dx + M dy). $$ El libro de texto utiliza una opción posible para la forma diferencial $\omega = (L dx + M dy)$ : $$ \int_F 1\,dxdy = \frac12 \oint_{\partial F} (\color{blue}{-ydx} + x dy),\tag{1} $$ no sólo $x\,dy$ necesitas ese término azul extra para llegar a lo que es similar a la respuesta de tu libro. Ahora, si se introduce la parametrización, se obtiene $$ \frac12 \int^{\infty}_0 \left(-\frac{3at^2}{1+t^3}\Big(\frac{3at}{1+t^3}\Big)' + \frac{3at}{1+t^3}\Big(\frac{3at^2}{1+t^3}\Big)' \right)dt. $$
Algunas actualizaciones: La fórmula (1) se simplifica en $$ \frac12 \int^{\infty}_0 \frac{9a^2t^2}{(1+t^3)^2}dt, \tag{2} $$ que es lo que tienes en tu libro. Si usamos el suyo $$ \int_F 1\,dxdy = \oint_{\partial F} xdy = \int_{0}^\infty\frac{9a^2t^2(2 -t^3)}{(1+t^3)^3}dt, $$ la fórmula anterior dará el mismo valor con (2). Del mismo modo, si se elige $-ydx$ también le dará el mismo valor: $$ \int_F 1\,dxdy = \oint_{\partial F} -ydx = \int_{0}^\infty\frac{9a^2t^2(2t^3 -1)}{(1+t^3)^3}dt. $$ Seguro que la elección no es única. Además, sin calcular el valor de las tres integrales anteriores, siempre se puede demostrar: $$ \oint_{\partial F} -ydx = \oint_{\partial F} xdy $$ mediante la integración por partes. Razón por la que elegir $\omega = -ydx + x dy$ es probablemente como usted dijo, lo que lleva a una fórmula más manejable.