( Este es un seguimiento de la respuesta de Stefan Lafon, demasiado largo para un comentario ).
Usando eso$\,|x|=1 \iff \bar x = \dfrac{1}{x}\,$ y$\,\cos(a-b)= \operatorname{Re}\left(\dfrac{x}{y}\right)=\operatorname{Re}(x \bar y) = \operatorname{Re}(\bar x y)\,$, se deduce que:
$$ \begin{align}
\cos(a-b) + \cos(b-c) + \cos(c-a) &= \cos(a-b) + \cos(a-c) + \cos(b-c) \\
&= \operatorname{Re}\left(x\bar y+ x \bar z + y \bar z\right) \\
&= \operatorname{Re}\left(x\left(\bar y + \bar z\right) + y \bar z\right) \\
&= \operatorname{Re}\left(x\left(\bar x \bar y \bar z - \bar x\right) + y \bar z\right) \\
&= \operatorname{Re}\left(\bar y \bar z + y\bar z -1 \right) \\
&= \operatorname{Re}\left(\left(y + \bar y\right) \bar z -1 \right) \\
&= -1 + 2 \operatorname{Re}(y) \operatorname{Re}(z)
\end {align} $$
Para que la última RHS sea$\,-1\,$, el segundo término debe ser cero, por lo que uno de$\,y,z\,$ debe ser un número puramente imaginario de módulo$\,1\,$, es decir,$\,\pm i\,$. Con algo más de trabajo de campo, se deduce que el conjunto de soluciones de las restricciones dadas es$\,\{(x,-x,z)\mid x=\pm i, |z| = 1\}\,$ o permutaciones de las mismas.