Realmente demostrar cualquier cosa sobre un grupo presentado usando generadores y relaciones implica maniobras combinatorias complicadas, a menos que uses la propiedad universal. Por lo general, las "pruebas" que no usan la propiedad universal apelan a la intuición y son incompletas y un poco vagas. Aquí tienes una "prueba" sólida.
La propiedad universal:
Sea G=\langle X|R \rangle (G está generado por los elementos de X con las relaciones R).
Luego, sea f cualquier función de X a algún grupo: $f:X \to H
donde dado cualquier relación: x_1^{e_1}x_2^{e_2}\cdots x_n^{e_n} \in R (aquí x_i \in X y e_i = \pm 1) tenemos f(x_1)^{e_1}f(x_2)^{e_2}\cdots f(x_n)^{e_n}=1 (básicamente las imágenes de las relaciones deben mapear a la identidad).
Entonces existe un homomorfismo único \hat{f}:G \to H tal que \hat{f}(x) = f(x) para todo $x \in X.
Esta propiedad universal es realmente la definición de lo que entendemos por un grupo presentado mediante generadores y relaciones.
Por lo tanto, D_n = \langle a,b \;|\; a^n=1,b^2=1,abab=1 \rangle tiene tal propiedad universal.
Considera f:\{a, b\} \to H definida por f(a)=R_{360^\circ/n} y f(b)=V donde H es el grupo de isometrías de un polígono regular de n lados, R_{360^\circ/n} es una rotación de 360^\circ/n y V es alguna reflexión en H (H es una realización concreta de D_n). Nota que la relación a^n=1 se traduce a f(a)^n=R_{360^\circ/n}^n=R_{0^\circ}, b^2=1 se traduce a f(b)^2=V^2 =R_{0^\circ}. Finalmente, abab=1 se traduce a f(a)f(b)f(a)f(b)=R_{360^\circ/n}VR_{360^\circ/n}V=WW donde W es alguna reflexión, por lo que f(a)f(b)f(a)f(b)=R_{0^\circ}. Por lo tanto, todas las relaciones se satisfacen.
Por lo tanto, existe un homomorfismo único que extiende a f, llamémoslo \hat{f}:D_n\to H.
Ahora, \hat{f}(a)=f(a)=R_{360^\circ/n}, por lo que el orden de \hat{f}(a) es n. Por lo tanto, el orden de a debe ser un múltiplo de n. Sin embargo, a^n=1, por lo que el orden de a no es más que n. Así que es n.
Podríamos haber usado matrices 2 \times 2 para realizar D_n (pero eso sería muy complicado de escribir). Además, sin mucho más esfuerzo, podríamos haber demostrado que \hat{f} es en realidad un isomorfismo.
Para probar que el orden de b es 2, podemos usar el grupo concreto \mathbb{Z}_2. Define f:\{a,b\}\to \mathbb{Z}_2 por f(a)=0, f(b)=1 (en \mathbb{Z}_2). Verifiquemos las relaciones (ten en cuenta que usamos la notación aditiva para \mathbb{Z}_2): nf(a)=n0=0, 2f(b)=2\cdot 1=0, f(a)+f(b)+f(a)+f(b)=0+1+0+1=0.
Por lo tanto, existe un homomorfismo único que extiende a f, digamos \hat{f}:D_n \to \mathbb{Z}_2. De nuevo, \hat{f}(b)=1 tiene orden 2, por lo que el orden de b debe ser un múltiplo de 2. Sin embargo, b^2=1, por lo que su orden no es más que 2. Por lo tanto, su orden es exactamente 2.
Al final, se prueban cosas sobre tu grupo de generadores/relaciones usando grupos concretos (imágenes homomórficas concretas).
Nota: Es tentador intentar probar que el orden de a es n usando un grupo como \mathbb{Z}_n, pero \mathbb{Z}_n no es una imagen homomórfica de D_n (en general), por lo que esto no funciona. :(