Como Greg Martin dijo en el comentario, el límite satisface la ecuación de $\displaystyle L=-\frac{1}{2}(L-L^2)^2+L^4$, no es difícil encontrar(mediante la reorganización y la factorización de la ecuación) las soluciones de la ecuación son $0,1,-1,-2$.
Debido a $\displaystyle |x_n|\leq \frac{3}{4}$ la secuencia no convergen a $1, -1, -2$. La secuencia sólo pueden converger a $0$. Queda por demostrar la secuencia, de hecho, converge a 0, lo cual puede hacerse mediante la estimación de un descendiente límite superior de $|x_n|$
Para hacer la estimación, se debe comenzar por demostrar un lema, para los números reales $\alpha$ $\beta$ tenemos $|\frac{1}{2}\alpha^2+\alpha\beta-\frac{1}{2}\beta^2|\leq \frac{\sqrt2}{2}(\alpha^2+\beta^2)$.
Para demostrarlo, vamos a $\gamma^2=\alpha^2+\beta^2$, podemos parametrizar $\alpha$ $\beta$ conseguir $\alpha=\gamma \cos(\theta),\beta=\gamma \sin(\theta)$, lo que significa que $$\frac{1}{2}\alpha^2+\alpha\beta-\frac{1}{2}\beta^2=\frac{\gamma^2}{2}(\cos(2\theta)+sin(2\theta))=\frac{\sqrt2\gamma^2}{2}(sin(2\theta+\pi/4))$$ y por lo tanto la desigualdad.
Volviendo a la pregunta, si $|x_n|\leq c$ y $|x_{n+1}|\leq c$, $\frac{3}{4}\geq c\geq 0$, por el lema(conjunto de $\alpha=x_n^2$,$\beta=x_{n+1}$) $|x_{n+2}|=|-\frac{1}{2}(x_{n+1}-x_n^2)^2+x_n^4|=|\frac{1}{2}x_n^4+x_n^2x_{n+1}-\frac{1}{2}x_{n+1}^2|\leq|\frac{\sqrt2}{2}(x_n^4+x_{n+1}^2)|\leq\frac{\sqrt2}{2}(c^4+c^2)=\frac{\sqrt2}{2}(c^3+c)c\leq \frac{\sqrt2}{2}((\frac{3}{4})^3+(\frac{3}{4}))c<0.83c$
Por lo tanto, tenemos $|x_1|\leq\frac{3}{4},|x_2|\leq\frac{3}{4},|x_3|\leq(0.83)\frac{3}{4},|x_4|\leq(0.83)\frac{3}{4},|x_5|\leq(0.83)^2\frac{3}{4}......|x_{2n}|\leq(0.83)^{n-1}\frac{3}{4}$ donde$(0.83)^n \rightarrow 0$$n \rightarrow \infty$, en comparación llegamos a la conclusión de la secuencia original converge a 0.