Demostramos algo más fuerte, a saber, que 2\sum_{k=1}^{p-1}\frac{1}{k^{2n-1}}+(2n-1)\cdot p\cdot\sum_{k=1}^{p-1}\frac{1}{k^{2n}}\equiv 0\mod{p^3}.
Sea n\geq 1 sea un número entero fijo. Si calculamos la diferencia \frac{1}{(1+x)^{2n-1}}-\left(1-(2n-1)x+n(2n-1)x^2\right), vemos que es de la forma \frac{f(x)}{(1+x)^{2n-1}}, donde f(x)\in\mathbb{Z}[x] es un polinomio divisible por x^3 . Se deduce que para cualquier x\in p\mathbb{Z}_{(p)} , (\star)\,\,\,\,\,\,\,\,\,\,\frac{1}{(1+x)^{2n-1}}\equiv 1-(2n-1)x+n(2n-1)x^2\mod{p^3}.
Ahora, tenemos \begin{eqnarray*} \sum_{k=1}^{p-1}\frac{1}{k^{2n-1}}&=&\sum_{k=1}^{p-1}\frac{1}{(p-k)^{2n-1}}\\ &=&-\sum_{k=1}^{p-1}\frac{1}{k^{2n-1}}\frac{1}{\left(1-\frac{p}{k}\right)^{2n-1}}\\ &\equiv&-\sum_{k=1}^{p-1}\frac{1}{k^{2n-1}}-(2n-1)p\sum_{k=1}^{p-1}\frac{1}{k^{2n}}-n(2n-1)p^2\sum_{k=1}^{p-1}\frac{1}{k^{2n+1}}\mod{p^3}, \end{eqnarray*} donde en la tercera línea hemos utilizado (\star) con x=-\frac{p}{k} .
Para p\geq 2n+3 , \sum_{k=1}^{p-1}\frac{1}{k^{2n+1}}\equiv 0\mod{p} (¿quizás conozca este hecho?), por lo que en este caso tenemos 2\sum_{k=1}^{p-1}\frac{1}{k^{2n-1}}+(2n-1)\cdot p\cdot\sum_{k=1}^{p-1}\frac{1}{k^{2n}}\equiv 0\mod{p^3}, dando a entender el hecho que desea.