Con un par de rondas de cuadrar, uno puede re-escribir las dos ecuaciones usando, por ejemplo, los senos solo. Los polinomios son de grado $6$ tanto $\sin x$ e $\sin y$. A partir de allí, el Método de Resultantes (por ejemplo, la invocación de Mathematica's Resultant
función) puede eliminar uno, dejando un polinomio en el otro; cuando yo intente esto, el final polinomio tiene cuatro grados de seis factores (presumiblemente con muchas soluciones extrañas).
Alternativamente, se puede convertir a exponenciales complejas a través de
$$\cos \theta = \frac12\left(e^{i\theta}+e^{-i\theta}\right)\qquad \sin \theta = \frac12\left(e^{i\theta} - e^{-i\theta}\right)$$
La definición de $u := e^{ix}$ e $v := e^{iy}$, y observando que un comentario de OP expresa $a=3c$ e $b=3d$, las ecuaciones pueden ser escritas
$$\begin{align}
u^2 v^2 + 2 u^2 v - u v^2 + u - 2 v - 1 - 6 i c u v &= 0 \tag{1} \\
u^2 v^2 - u^2 v + 2 u v^2 - 2 u + v - 1 - 6 i d u v &= 0 \tag{2}
\end{align}$$
Utilizando resultantes para eliminar la $v$da
$$\begin{align}
0 &= \phantom{2}u^6 \\
&+ \phantom{2}u^5 \left(1 - 6 ci\right) \\
&- \phantom{2}u^4 \left( 1 + \phantom{1}8 c^2 - 4 c d - 4 d^2 + 12 ci \right) \\
&- 2 u^3 \left( 1 + 10 c^2 + 4 c d + 4 d^2 \right) \\
&- \phantom{2}u^2 \left( 1 + \phantom{1}8 c^2 - 4 c d - 4 d^2 - 12 ci \right) \\
&+ \phantom{2} u\phantom{^2} \left(1 + 6 ci \right) \\
&+ 1
\end{align} \etiqueta{3}$$
Así que, todavía obtener un sexto grado del polinomio para resolver (por métodos numéricos, a menos que haya alguna super-cómodo relación entre el $c$ e $d$ que provoca $(3)$ a factor). Por supuesto, por $(1)$, cada valor de $u$ da lugar a dos valores de $v$; y todos los candidatos $u$s y $v$s tendrá a prueba de viabilidad.