Demostramos algo más fuerte, a saber, que $$ 2\sum_{k=1}^{p-1}\frac{1}{k^{2n-1}}+(2n-1)\cdot p\cdot\sum_{k=1}^{p-1}\frac{1}{k^{2n}}\equiv 0\mod{p^3}. $$
Sea $n\geq 1$ sea un número entero fijo. Si calculamos la diferencia $$ \frac{1}{(1+x)^{2n-1}}-\left(1-(2n-1)x+n(2n-1)x^2\right), $$ vemos que es de la forma $$ \frac{f(x)}{(1+x)^{2n-1}}, $$ donde $f(x)\in\mathbb{Z}[x]$ es un polinomio divisible por $x^3$ . Se deduce que para cualquier $x\in p\mathbb{Z}_{(p)}$ , $$ (\star)\,\,\,\,\,\,\,\,\,\,\frac{1}{(1+x)^{2n-1}}\equiv 1-(2n-1)x+n(2n-1)x^2\mod{p^3}. $$
Ahora, tenemos $$ \begin{eqnarray*} \sum_{k=1}^{p-1}\frac{1}{k^{2n-1}}&=&\sum_{k=1}^{p-1}\frac{1}{(p-k)^{2n-1}}\\ &=&-\sum_{k=1}^{p-1}\frac{1}{k^{2n-1}}\frac{1}{\left(1-\frac{p}{k}\right)^{2n-1}}\\ &\equiv&-\sum_{k=1}^{p-1}\frac{1}{k^{2n-1}}-(2n-1)p\sum_{k=1}^{p-1}\frac{1}{k^{2n}}-n(2n-1)p^2\sum_{k=1}^{p-1}\frac{1}{k^{2n+1}}\mod{p^3}, \end{eqnarray*} $$ donde en la tercera línea hemos utilizado $(\star)$ con $x=-\frac{p}{k}$ .
Para $p\geq 2n+3$ , $$ \sum_{k=1}^{p-1}\frac{1}{k^{2n+1}}\equiv 0\mod{p} $$ (¿quizás conozca este hecho?), por lo que en este caso tenemos $$ 2\sum_{k=1}^{p-1}\frac{1}{k^{2n-1}}+(2n-1)\cdot p\cdot\sum_{k=1}^{p-1}\frac{1}{k^{2n}}\equiv 0\mod{p^3}, $$ dando a entender el hecho que desea.