Primero nos afirman que por cualquier $k\geq 0$ podemos escribir $$g^{p^{k-1}p}=1+a_kp^k\qquad\text{where }p\nmid a_k$$
Claramente $g^{p-1}\equiv 1\pmod{p}$ y, por tanto, $g^{p-1}=1+a_0p$ algunos $a_0$. Tenga en cuenta que $p\nmid a_0$ porque de lo contrario $g^{p-1}\equiv 1\pmod{p^2}$ (en contradicción con el hecho de que $g$ es una raíz primitiva de mod $p^2$).
Suponga que $g^{p^{s-1}p}=1+a_sp^s$ donde $p\nmid a_s$. Sigue
$$g^{p^s(p-1)}=1+a_sp^{s+1}+ \text{ multiple of }p^{s+2}=1+a_{s+1}p^{s+1}$$
Si $p\mid a_{s+1}$$p^{s+2}\mid a_sp^{s+1}$, lo que implica que $p\mid a_s$ (contradicción!). Por lo tanto $p\nmid a_{s+1}$.
Ahora pretendemos que para $k\geq 2$, la orden de $g$ mod $p^k$$p^{k-1}(p-1)$. Para $k=2$, la afirmación es verdadera. Asumir la orden de $g$ mod $p^s$$p^{s-1}(p-1)$. Desde
$$g^{p^s(p-1)}=1+a_{s+1}p^{s+1}$$
claramente $g^{p^s(p-1)}\equiv 1\pmod {p^{s+1}}$. Supongamos $l$ ser un número tal que $g^l\equiv 1\pmod {p^{s+1}}$. Luego, obviamente,$g^l\equiv 1\pmod{p^s}$. Desde $p^{s-1}(p-1)$ es el orden de $g$ mod $p^s$,$l=tp^{s-1}(p-1)$.
Ahora $$g^l=g^{tp^{s-1}(p-1)}=1+ta_sp^s+\text{ multiple of }p^{s+1}$$
Desde $g^l\equiv 1\pmod {p^{s+1}}$$p^{s+1}\mid ta_sp^{s}$. Pero $p\nmid a_s$. Por lo tanto $p\mid t$. Escribir $t=pt_2$. De ello se desprende que $l=t_2p^s(p-1)$ y llegamos a la conclusión de que $p^s(p-1)$ es el orden de $g$ mod $p^{s+1}$.
En el caso de que $g$ es raíz primitiva de mod $p$ queda para el lector :).