Puedes parametrizar las cuatro patas del rectángulo de la siguiente manera:
\begin{align} \vec{r}_1(t) =& (t, 0) & 0 \leq t \leq 4\\ \vec{r}_2(t) = & (4, t) & 0 \leq t \leq 4 \\ \vec{r}_3(t) = & (4 - t, 4) & 0 \leq t \leq 4 \\ \vec{r}_4(t) = & (0, 4 - t) & 0 \leq t \leq 4 \end{align}
Pero no olvides que tienes que introducir cada uno de esos valores en $\vec{F}$ :
$$ \int\limits_0^4 \vec{F}\left(\vec{r}_1\right)\circ d\vec{r}_1 + \int\limits_0^4 \vec{F}\left(\vec{r}_2\right)\circ d\vec{r}_2 + \int\limits_0^4 \vec{F}\left(\vec{r}_3\right)\circ d\vec{r}_3 + \int\limits_0^4 \vec{F}\left(\vec{r}_4\right)\circ d\vec{r}_4 $$
Se puede combinar esto en una sola integral, pero todavía hay que evaluar cada $\vec{F}\left(r_i\right)\circ d\vec{r}_i$ . Por ejemplo, aquí está $\vec{r}_1$ :
$$ x = t, y = 0\\ d\vec{r}_1 = \left(1, 0\right)dt \\ \vec{F}\left(\vec{r}_1\right) = \left(t^2\cdot 0^2, t\right) = \left(0, t\right) \\ \vec{F}\left(\vec{r}_1\right) \circ d\vec{r}_1 = 0 dt $$
Ahora tienes que hacer lo mismo con los otros tres. Probablemente puedes adivinar que se desvanecerá de nuevo por $\vec{r}_4$ pero probablemente no para los otros dos.