La intención de esta respuesta es para mostrar que, tratando de todas las posibilidades es, de hecho, no por mucho tiempo. (Por supuesto, si más elegante, al encontrar una solución que evita probando todas las posibilidades.) Permítanme comenzar por el trazado de 5x5 tabla con todas las posibilidades para que los restos de un y b. (No sé de una buena manera de hacer tablas aquí - traté de algo que de todos modos.)
$$
\begin{array}{c|ccccc}
b \backslash a & 0 & 1 & 2 & 3 & 4 \\
\hline
0 & & & & & \\
1 & & & & & \\
2 & & & & & \\
3 & & & & & \\
4 & & & & & \\
\end{array}
$$
Si nos re-escribir nuestra expresión como $ab(a-b)(a+b)(a^2+b^2)$, vemos que todas las posibilidades donde $a=0$ o $b=0$ ok (marcado por $\circ$).
$$
\begin{array}{c|ccccc}
b \backslash a & 0 & 1 & 2 & 3 & 4 \\
\hline
0 & \circ & \circ & \circ & \circ & \circ \\
1 & \circ & & & & \\
2 & \circ & & & & \\
3 & \circ & & & & \\
4 & \circ & & & & \\
\end{array}
$$
También las posibilidades de donde a=b están bien (desde $a-b\equiv 0\pmod 5$, por lo que son aquellos donde la $a=5-b$ (desde $a+b\equiv 0\pmod 5$), por lo tanto podemos omitir ambas diagonales (marcado por $\bullet$).
$$
\begin{array}{c|ccccc}
b \backslash a & 0 & 1 & 2 & 3 & 4 \\
\hline
0 & \circ & \circ & \circ & \circ & \circ \\
1 & \circ & \bullet & & & \bullet \\
2 & \circ & & \bullet & \bullet & \\
3 & \circ & & \bullet & \bullet & \\
4 & \circ & \bullet & & & \bullet \\
\end{array}
$$
Sólo hay 8 posibilidades a la izquierda, y desde el papel de un y b son simétricas, solo tenemos que tratar: (1,2), (1,3), (4,2), (4,3). En todos estos casos $a^2+b^2\equiv 0 \pmod 5$.