He aquí algunas ideas que, en retrospectiva, le ahorran los largos cálculos.
Observa que tu sistema de ecuaciones es cíclico en las variables (x,y,z) y (a,b,c). Es decir, la siguiente ecuación se deriva de la anterior desplazando todas las variables una posición ( $x \to y$ y simultáneamente $a\to b$ etc.), donde la última variable se convierte en la primera. Esto requiere una solución que también es cíclica, es decir, una vez que se ha encontrado $x=F(a,b,c)$ entonces $y=F(b,c,a)$ y $z = F(c,a,b)$ .
Declarar una función desconocida $f$ y cíclico $g,h$ es decir $f=f(a,b,c)$ entonces $g=f(b,c,a)$ y $h = f(c,a,b)$ .
Ahora no se pierde la generalidad al escribir la solución propuesta como
$$ x = a^2 \frac{{f}}{{g} {h}}$$
lo que implica
$$ y = b^2 \frac{{g}}{{h} {f}} \quad ; \quad z = c^2 \frac{{h}}{{f} {g}}$$
Entonces su naturaleza cíclica general de $x,y,z$ se da.
Por supuesto, aquí es donde entra la retrospectiva. Dado que si no tienes ni idea de la estructura de la solución (véase la respuesta de mathlove), probablemente no elegirías ese ansatz. Sin embargo, al introducirla en tus ecuaciones las cosas se ven bien, ya que obtienes
$$ gh = b g + ch - af\\ hf = - b g + ch + af \\ fg = bg - ch + af $$
De nuevo, este sistema es cíclico.
De la estructura de estas ecuaciones, $f,g,h$ puede elegirse como una suma ponderada de las constantes $a,b,c$ . Como el sistema es cíclico, necesitamos hacer esto sólo para una ecuación. Con la incógnita $A,B,C$ , escriba $f = A a+ Bb + Cc$ entonces $g = A b+ Bc + Ca$ y $h = A c+ Ba + Cb$ . La primera ecuación es
$$ (A b+ Bc + Ca)(A c+ Ba + Cb) - b (A b+ Bc + Ca) - c(A c+ Ba + Cb) + a(A a+ Bb + Cc) = 0 $$
La clasificación da
$$ a^2(BC+A) + b^2(AC-A)+c^2(AB-A) + ab(AB+C^2-C+B) +bc(A^2+BC-B-C) + ac(AC+B^2-B+C) =0 $$
Todos los coeficientes deben desaparecer. $AB-A = 0$ da $B=1$ entonces $AC-A = 0$ da $C=1$ , $BC+A = 0$ da $A= -1$ . Por lo tanto, $A=-1$ , $B=1$ , $C=1$ y de hecho todos los coeficientes desaparecen.
Esto da inmediatamente la solución final.
La parte del "cálculo" sólo consistió en la muy fácil determinación de $A,B,C$ .