Desde $(a,b)=1$, $\left\{\frac{kb}{a}\right\}$ rangos de $\left\{\frac1a,\frac2a,\dots,\frac{a-1}{a}\right\}$. Por lo tanto,
$$
\begin{align}
\sum_{k=1}^{a-1}\left\{\frac{kb}{a}\right\}^2
&=\sum_{k=1}^{a-1}\left\{\frac{k}{a}\right\}^2\\
&=\frac{(2a-1)(a-1)}{6a}\tag{1}
\end{align}
$$
Sin embargo, también tenemos $\left\{\frac{kb}{a}\right\}=\frac{kb}{a}-\left\lfloor\frac{kb}{a}\right\rfloor$. Por lo tanto,
$$
\begin{align}
\sum_{k=1}^{a-1}\left\{\frac{kb}{a}\right\}^2
&=\sum_{k=1}^{a-1}\left(\frac{kb}{a}-\left\lfloor\frac{kb}{a}\right\rfloor\right)^2\\
&=\frac{b^2}{a^2}\sum_{k=1}^{a-1}k^2-2\frac{b}{a}\sum_{k=1}^{a-1}k\left\lfloor\frac{kb}{a}\right\rfloor+\sum_{k=1}^{a-1}\left\lfloor\frac{kb}{a}\right\rfloor^2\\
&=\frac{b^2}{a^2}\frac{(2a-1)(a-1)a}{6}-2\frac{b}{a}\sum_{k=1}^{a-1}k\left\lfloor\frac{kb}{a}\right\rfloor+\sum_{k=1}^{a-1}\left\lfloor\frac{kb}{a}\right\rfloor^2\tag{2}
\end{align}
$$
Restando $(2)$ $(1)$ y multiplicando por $a$, obtenemos
$$
\begin{align}
2b\sum_{k=1}^{a-1}k\left\lfloor\frac{kb}{a}\right\rfloor
=\frac{(b^2-1)(2a-1)(a-1)}{6}+a\sum_{k=1}^{a-1}\left\lfloor\frac{kb}{a}\right\rfloor^2\tag{3}
\end{align}
$$
Si $m\mid a$$(m,2b)=1$, $(3)$ implica
$$
\sum_{k=1}^{- 1}k\left\lfloor\frac{kb}{a}\right\rfloor
\equiv\frac{b^2-1}{12b}\pmod{m}\etiqueta{4}
$$
Para$m=5$$b\equiv2\pmod{5}$, obtenemos $\frac{b^2-1}{12b}\equiv2\pmod{5}$
Para$m=5$$b\equiv3\pmod{5}$, obtenemos $\frac{b^2-1}{12b}\equiv3\pmod{5}$
Aclaración
Desde $(m,2b)=1$, la Identidad de Bezout dice que no se $x,y\in\mathbb{Z}$, de modo que
$$
mx+2by=1\etiqueta{5}
$$
El cuadrado de $(5)$ da
$$
m(mx^2+4xby)+4b (^2)=1\etiqueta{6}
$$
La ecuación de $(6)$ implica
$$
4b (^2)\equiv1\pmod{m}\etiqueta{7}
$$
$(7)$ dice que $4b$ tiene una inversa mod $m$.
Si $3\not\mid m$, $(m,3)=1$ $3$ tiene una inversa mod $m$.
Si $3\mid m$,$3\not\mid b$. Por lo tanto, $3$ divide cualquiera de las $b-1$ o $b+1$, y por lo tanto $3\mid b^2-1$.
Por lo tanto, si o no $3\mid m$, $(4)$ hace sentido.