Dado que $z=\pi-x-y$, tenemos $\cos z=\cos(x+y)$; entonces \begin{align} \cos^2x&+\cos^2y+\cos^2z \\[6px] &=\cos^2x+\cos^2y+\cos^2x\cos^2y-2\cos x\cos y\sin x\sin y+\sin^2x\sin^2y \\[6px] &=\cos^2x+\cos^2y+\cos^2x\cos^2y-2\cos x\cos y\sin x\sin y \\ &\qquad+1-\cos^2x-\cos^2y+\cos^2x\cos^2y\\[6px] &=1+2\cos x\cos y(\cos x\cos y-\sin x\sin y)\\[6px] &=1+2\cos x\cos y\cos z \end{align} que es una identidad interesante por sí misma.
En tu caso, obtenemos $\cos x\cos y\cos z=0$.
Supongamos que $\cos x=0$; entonces $x=\pi/2+m\pi$ y $\cos y+\cos z=1$. Al elevar al cuadrado, también obtenemos $\cos y\cos z=0$, por lo que $y=\pi/2+n\pi$ o $z=\pi/2+n\pi$.
En el primer caso, $\cos z=1$, entonces $z=2k\pi$ y también necesitamos $$ \frac{\pi}{2}+m\pi+\frac{\pi}{2}+n\pi+2k\pi=\pi $$ así que $m+n+2k=0$. De manera similar en el segundo caso y para $\cos y=0$ o $\cos z=0$.
Si también tienes la limitación de que los ángulos son los de un triángulo (posiblemente degenerado), es decir, en $[0,\pi]$, obtenemos que dos de los ángulos son $\pi/2$ y el otro es $0$.
0 votos
¿Qué es $\mathrm{cos}^y$?
0 votos
Oops, editado, gracias
0 votos
$$x = 2 ~\pi ~n_1, y = \pi~n_2 - \dfrac{\pi}{2}, z = -2 ~n_1~ \pi - n_2 ~\pi + \dfrac{3 \pi}{2}, n_1 \in \mathbb{Z}, n_2 \in \mathbb{Z}$$ También parecen aparecer permutaciones de esta solución.
0 votos
¿Cómo probaste que no hay otras soluciones?
0 votos
Entonces, ¿cómo demostraste que solo uno de los cosenos puede ser igual a 1?