Como $R$ es un anillo, contiene una identidad multiplicativa $1_R$ . Como tal, existe un único homomorfismo de anillo $\phi : \mathbb{Z} \to R$ dado por $\varphi(n) = n\cdot 1_R$ ; nota, $n\cdot 1_R$ no denota la multiplicación de dos elementos de $R$ sino que es la abreviatura de la suma de $n$ copias de $1_R$ si $n$ es positivo, o $|n|$ copias de $-1_R$ (la inversa aditiva de $1_R$ ) si $n$ es negativo.
El elemento $n\cdot 1_R$ a veces se denota por $n$ pero para distinguirlo del elemento de $\mathbb{Z}$ la notación $\overline{n}$ también se utiliza; la fuente que está utilizando sigue la primera convención. Por lo tanto, la declaración " $|G|$ es invertible en $R$ " significa realmente $|G|\cdot 1_R$ es invertible en $R$ . Es decir, $|G|\cdot 1_R$ tiene un inverso multiplicativo, que es un elemento $x \in R$ tal que $x(|G|\cdot 1_R) = (|G|\cdot 1_R)x = 1_R$ . Tenga en cuenta que
$$1_R = (|G|\cdot 1_R)x = (\underbrace{1_R + 1_R + \dots + 1_R}_{|G|\ \text{summands}})x = \underbrace{1_Rx + 1_Rx + \dots + 1_Rx}_{|G|\ \text{summands}} = |G|\cdot x$$
por lo que, como bien has dicho en tu post, la invertibilidad de $|G|$ implica que existe un elemento (concretamente $x$ ) que, sumado a sí mismo $|G|$ veces, se convierte en $1_R$ .
En la fórmula que escribiste, $\frac{1}{|G|}$ se utiliza para denotar la inversa multiplicativa de $|G|\cdot 1_R$ (a saber $x$ ); la motivación de esta notación es la identidad $|G|\cdot x = 1_R$ . Así que la fórmula podría reescribirse como $x\sum_{\alpha\in RG}\alpha$ que está bien definida si $RG$ es finito.