Para responder a tu pregunta, "No." Es verdad que $ahH(ah)^{-1}=ahHh^{-1}a^{-1}=aHa^{-1}$ (ya que $h,h^{-1} \in H$ tenemos $hHh^{-1}=H$). Pero no es generalmente cierto que $aHa^{-1}=H$. De hecho, si haces este salto, ¡esencialmente estás asumiendo lo que estás intentando probar!
Trabajemos con un elemento en su lugar para ver mejor lo que se necesita hacer. Supongamos que $x\in aH$. Entonces existe algún $h\in H$ tal que $x=ah$. Ahora supongamos que $k \in H$ y consideremos $xkx^{-1}=ahkh^{-1}a^{-1}$ [Necesitamos mostrar que $xkx^{-1}\in H].
Nota que $ahkh^{-1} \in aH$ y por lo tanto $ahkh^{-1}\not\in H$. Además, $H \not= Ha$ ya que $a \not\in H$. Por lo tanto, $ahkh^{-1}$ no pertenece a $H$ y por lo tanto debe pertenecer al único otro cosete derecho: $Ha$. Así que existe algún $h' \in H$ tal que $ahkh^{-1}=h'a$. Entonces $xkx^{-1}=ahkh^{-1}a^{-1}=h'aa^{-1}=h' \in H$ y así $xHx^{-1} \subseteq H.
Y así llegamos a la demostración más enrevesada del teorema del índice 2 que he visto nunca. :)
Es mejor trabajar con la condición (usualmente usada como una definición de normalidad): "$H$ es normal en $G$ si y solo si sus cosetes izquierdo y derecho son iguales."
Primero, recordemos que los cosetes dividen al grupo. Entonces si solo hay dos cosetes (uno de los cuales es el subgrupo mismo), entonces el segundo coset debe ser lo que queda. Así que los cosetes de $H$ en $G$ son $H$ y $G-H = \{x\in G\;|\; x\not\in H\}$ (el complemento de $H$ en $G$).
Sea $x\in G. Caso 1: $x\in H$. Entonces $xH=H=Hx. Caso 2: $x\not\in H. Entonces $xH \not= H$ y así $xH=G-H$. De igual manera $Hx\not= H$ así que $Hx=G-H. Por lo tanto, $xH=G-H=Hx. Así los cosetes izquierdo y derecho coinciden, entonces $H$ es normal en $G.
La idea detrás del teorema es que el subgrupo en sí siempre es tanto un cosete izquierdo como derecho. Así que si solo hay dos cosetes, no hay suficiente espacio para que el cosete que no es del subgrupo no coincida. Ahora, si el índice es tres, pueden ocurrir más cosas. En este caso hay espacio para que los cosetes no coincidan y por lo tanto $H$ no necesariamente sería normal. Por ejemplo: $H = \{ (1),(12) \}$ es un subgrupo de índice 3 en $S_3$ (permutaciones de ${1,2,3}$). Pero $H$ no es normal.
4 votos
No debes intentar probar $x \in H$, sino $xHx^{-1} \subseteq H$.
3 votos
Una de las definiciones equivalentes de subgrupo normal es que los conjuntos de cosets izquierdos y derechos son iguales. Si conoces esto, podrías usarlo para encontrar una demostración muy simple.
0 votos
Posible duplicado math.stackexchange.com/questions/420583/…
0 votos
También una consecuencia del "teorema de Cayley fuerte"