Para responder primero a la segunda pregunta: la suma $\sum\limits_{y\in Gx}1$ tiene un término por cada $y\in Gx$ y cada uno de esos términos es $1$ , por lo que sólo es añadir $|Gx|$ copias del número $1$ el resultado, por supuesto, es $|Gx|$ . Si quieres hacerlo aún más explícito, deja que $m=|Gx|$ y enumerar los elementos de $Gx$ como $y_1,\dots,y_m$ . Para cada $y\in Gx$ dejar $f(y)=1$ . Entonces $$\sum_{y\in Gx}1=\sum_{y\in Gx}f(y)=\sum_{k=1}^mf(y_k)=\sum_{k=1}^m 1=m\cdot1=m=|Gx|\;.$$
Ahora veamos la primera pregunta. Estás empezando con $$\sum_{\text{orbits} \hspace{ 1mm} Gx} \hspace{ 1mm} \sum_{y \in Gx} |G_y|\;.\tag{1}$$ Creo que esto podría ser más claro si le damos un nombre al conjunto de órbitas: dejemos que $\Omega$ sea el conjunto de órbitas. Entonces $(1)$ puede reescribirse como $$\sum_{\omega\in\Omega}~\sum_{y\in\omega}|G_y|\;.\tag{2}$$ Lo siguiente que hay que tener en cuenta es que si $x$ y $y$ están en la misma órbita, entonces $|G_x|=|G_y|$ .
Prueba: Si $x$ y $y$ están en la misma órbita, entonces $y=gx$ para algunos $g\in G$ . Entonces $h\in G_y$ si $hy=y$ si $hgx=gx$ si $g^{-1}hgx=x$ si $g^{-1}hg\in G_x$ y el mapa $h\mapsto g^{-1}hg$ es una biyección. $\dashv$
Así, para cualquier órbita $\omega\in\Omega$ hay un número $n(\omega)$ tal que $|G_x|=n(\omega)$ para cada $x\in\omega$ . Así, $(2)$ puede reescribirse como $$\sum_{\omega\in\Omega}~\sum_{y\in\omega}n(\omega)=\sum_{\omega\in\Omega}|\omega|\,n(\omega)\;,\tag{3}$$ ya que la suma interna del lado izquierdo es sólo la suma de $|\omega|$ copias del número $n(\omega)$ .
Ahora podríamos elegir un elemento en particular $x_\omega$ de cada órbita $\omega$ utilizar estos elementos para identificar las órbitas. Si hacemos esto, $(3)$ se convierte en
$$\sum_{\omega\in\Omega}|Gx_\omega||\omega|=\sum_{\omega\in\Omega}|Gx_\omega||G_{x_\omega}|\;,$$
que no es más que una forma un poco más cuidadosa de escribir
$$\sum_{\text{orbits}} |Gx| |G_x|\;.$$