Observe que $x=0 \implies y=0$, por lo tanto $(0,0)$ es una solución trivial. Vamos a considerar el caso en que $x \neq 0$.
$$x=y^2(y-1)$$
$$y=x^2(x-1)$$
Supongamos por el contrario que $x=1$, luego de la segunda ecuación de $y=0$, lo que contradice la primera ecuación de $x=0$. Por lo tanto $x \neq 1$.
Supongamos por el contrario que $x \in (0,1)$,
$$y=x^2(x-1) \in (-1,0)$$
y, por tanto, $$x=y^2(y-1)<0$$
lo cual es una contradicción. Por lo tanto $x \notin (0,1).$ Por simetría, $y \notin (0,1)$.
También, observe si $x>1$,$y=x^2(x-1)>0$, y, por tanto,$y>1$.
y si $x<0$$y=x^2(x-1)<0$.
$$x=y^2(y-1)$$
$$x^2(x-1)=y$$
Multiplicar los dos ecuaciones, tenemos
$$x^3(x-1)=y^3(y-1)$$
Considere la función, $$f: (1,\infty) \rightarrow (0,\infty),\text{ where }f(t)= t^3(t-1).$$
Podemos ver fácilmente que esta función es creciente y es una función inyectiva.
Por lo tanto, si $x>1$, $f(x)=f(y)$ y, por tanto,$x=y$.
Del mismo modo, podemos considerar la función, $$g: (-\infty,0) \rightarrow (0,\infty),\text{ where }g(t)= t^3(t-1).$$
Podemos ver fácilmente que esta función es decreciente y es una función inyectiva.
Por lo tanto, si $x<0$, $g(x)=g(y)$ y, por tanto,$x=y$.
Por lo tanto, siempre tenemos $x=y$.
$$x+x^2=x^3$$
$$x(1-x-x^2)=0$$
$x=0$ o $1-x-x^2=0$