El problema dice que si $N$ puede expresarse de dos formas como la suma de dos cuadrados, entonces $N$ no es primo. Claramente la primera idea es tratar de expresar $N$ como un producto de dos expresiones que contengan $a,b,c,d$ pero no veo cómo.
Respuesta
¿Demasiados anuncios?Sea $p$ un primo impar. Supongamos que $a^2+b^2=p$ y $c^2+d^2=p$ donde $a,b,c,d$ son positivos.
Entonces $(ab^{-1})^2 \equiv (cd^{-1})^2 \equiv -1 \pmod{p}$. La congruencia $x^2 \equiv -1 \pmod{p}$ tiene a lo sumo dos soluciones, y estas son mutuamente inversas. Así que si es necesario intercambiar los roles de $c$ y $d$, podemos asumir que $ab^{-1} \equiv cd^{-1} \pmod{p}$. Se sigue que $$ad \equiv bc \pmod{p}.$$
Observa que $a,b,c,d$ son cada uno menores que $\sqrt{p}$. Por lo tanto, $ad=bc$. Pero $a$ y $b$ son primos relativos, entonces $a$ divide a $c$. De manera similar, $c$ divide a $a$ y hemos terminado.