Desde
$$ \binom{p^2}p = \frac{p^2(p^2-1)\dotsb(p^2-(p-1))}{1\cdot2\dotsb(p-1)p}, $$
queremos mostrar que
$$ \frac{(p^2-1)\dotsb(p^2-(p-1))}{1\cdot2\dotsb(p-1)} \equiv 1 \pmod{p^4}; $$
es decir,
$$ (p^2-1)\dotsb(p^2-(p-1)) \equiv (p-1)! \pmod{p^4}. $$
La apertura de los paréntesis en el lado izquierdo y la observación de que $(-1)(-2)\dotsb(-(p-1))=(p-1)!$, queda por demostrar que la suma de todos los $p-1$ términos divisible por $p^2$ , pero no por $p^4$ es $0$ mod $p^4$; esto es, considerando el polinomio
$$ P(x) := (x-1)(x-2)\dotsb(x-(p-1)), $$
queremos demostrar que el coeficiente del término lineal de este polinomio es $0$ mod $p^2$.
Para ello podemos hacer dos observaciones. La primera es casi trivial:
$$ P(p-x) = P(x). \tag{1} $$
La segunda observación es que el polinomio $P(x)-(x^{p-1}-1)$ tiene un grado en la mayoría de las $p-2$, mientras que el valor de este polinomio en cada punto entero es divisible por $p$ (sugerencia: el uso del teorema de Wilson para $x\equiv 0\pmod p$); en consecuencia,
$$ P(x) = (x^{p-1}-1) + pQ(x), \tag{2} $$
donde $Q$ es un polinomio con coeficientes enteros.
Sustituyendo (1) en (2), obtenemos
$$ (p-x)^{p-1}-1+pQ(p-x) = x^{p-1}-1+pQ(x), $$
que, en vista de $(p-x)^{p-1}\equiv x^{p-1}-(p-1)px^{p-2}\pmod{p^2}$, los rendimientos de los
$$ pQ(p-x) \equiv (p-1)px^{p-2} + pQ(x) \pmod{p^2}; $$
es decir,
$$ Q(p-x) \equiv Q(x)-x^{p-2} \pmod p. $$
Pero $Q(p-x)\equiv Q(-x)\pmod p$; por lo tanto
$$ Q(-x)\equiv Q(x)-x^{p-2}\pmod p, $$
y de ello se desprende que los términos lineales de $Q(-x)$ e $Q(x)$ desaparecen mod $p$. Ahora, por (2), el término lineal de $P$ es divisible por $p^2$. Esto completa la prueba.