En efecto, se puede utilizar el lema de Gauss, aunque hay un enfoque más elemental que juega con los factoriales y utiliza el criterio de Euler.
El $(p^2-1)/8$ tiene un aspecto excesivamente misterioso. El teorema "real" es que $2$ es un residuo cuadrático de $p$ si $p\equiv \pm 1\pmod{8}$ y es un no-residuo si $p\equiv \pm 3\pmod{8}$ .
No es difícil comprobar que si $p\equiv \pm 1\pmod{8}$ entonces $(p^2-1)/8$ es par, y que si $p\equiv \pm 3\pmod{8}$ entonces $(p^2-1)/8$ es impar. Así que tomando $-1$ al poder $(p^2-1)/8$ da la respuesta correcta para el símbolo de Legendre $(2/p)$ .
Detalle: Si $p=8k\pm 1$ entonces $p^2-1=64k^2\pm 16k$ Así que $(p^2-1)/8=8k^2\pm 2k$ incluso. Si $p=8k\pm 3$ entonces $p^2-1=64k^2\pm 48k+8$ Así que $(p^2-1)/8=8k^2\pm 6k+1$ , impar.
Demostración a partir del lema de Gauss: Si $1\le j\le (p-1)/2$ entonces $2\le 2j\le p-1$ . Sea $N$ sea el número de enteros del conjunto $A=\{2,4,\dots,p-1\}$ que son mayores que $p/2$ . Entonces, por el lema de Gauss, $(2/p)=(-1)^N$ . Ahora $2j \lt p/2$ si $j \lt p/4$ .
(i) Si $p=8k+1$ entonces $j\lt p/4$ equivale a $j \lt 2k+\frac{1}{4}$ . Hay $2k$ enteros que satisfacen esta última desigualdad. Dado que $A$ contiene $(p-1)/2=4k$ se deduce que $N=4k-2k=2k$ . Así que $N$ es par, y por lo tanto $(2/p)=1$ .
Los otros tres casos utilizan el mismo tipo de razonamiento. Si (ii) $p=8k+3$ (iii) $p=8k+5$ o (iv) $p=8k+7$ entonces $N$ es respectivamente (ii) $(4k+1)-2k=2k+1$ (iii) $(4k+2)-(2k+1)=2k+1$ o (iv) $(4k+3)-(2k+1)=2k+2$ . Así que en lo que nos queda de $3$ casos, $N$ es incluso sólo en el caso $8k+7$ . El resto se deduce por el lema de Gauss.