Lo has hecho: $$4\cos^2(2x)+\sin(2x) = 3$$
Utilice $\cos^2(2x) = 1-\sin^2(2x)$ entonces:
$$4(1-\sin^2(2x))+\sin(2x) = 3\implies4-4\sin^2(2x) + \sin(2x) = 3\implies\\1+\sin(2x)-4\sin^2(2x) = 0$$
que tiene raíces:
$$\sin(2x) = \frac{1}{8}(1-\sqrt{17})\\\sin(2x) = \frac{1}{8}(1+\sqrt{17})$$
Para las primeras ecuaciones:
$$\sin(2x) = \frac{1}{8}(1-\sqrt{17})\implies \sin^{-1}\sin(2x) = \sin^{-1}\frac{1}{8}(1-\sqrt{17})\implies \\2x = \sin^{-1}\left(\frac{1}{8}(1-\sqrt{17})\right)\implies x = \frac{\sin^{-1}\left(\frac{1}{8}(1-\sqrt{17})\right)}{2}$$ Pero también hay otra solución en el otro cuadrante tal que:
$$2x = \pi - \sin^{-1}\left(\frac{1}{8}(1-\sqrt{17})\right)\implies\\x = \frac{\pi}{2}-\frac{\sin^{-1}\left(\frac{1}{8}(1-\sqrt{17})\right)}{2}$$
Hay que hacer lo mismo para la segunda raíz:
$$\sin(2x) = \frac{1}{8}(1+\sqrt{17})$$
Y entonces tienes la respuesta