Realmente demostrar cualquier cosa sobre un grupo presentado usando generadores y relaciones implica maniobras combinatorias complicadas, a menos que uses la propiedad universal. Por lo general, las "pruebas" que no usan la propiedad universal apelan a la intuición y son incompletas y un poco vagas. Aquí tienes una "prueba" sólida.
La propiedad universal:
Sea $G=\langle X|R \rangle$ (G está generado por los elementos de X con las relaciones R).
Luego, sea $f$ cualquier función de X a algún grupo: $f:X \to H
donde dado cualquier relación: $x_1^{e_1}x_2^{e_2}\cdots x_n^{e_n} \in R$ (aquí $x_i \in X$ y $e_i = \pm 1$) tenemos $f(x_1)^{e_1}f(x_2)^{e_2}\cdots f(x_n)^{e_n}=1$ (básicamente las imágenes de las relaciones deben mapear a la identidad).
Entonces existe un homomorfismo único $\hat{f}:G \to H$ tal que $\hat{f}(x) = f(x)$ para todo $x \in X.
Esta propiedad universal es realmente la definición de lo que entendemos por un grupo presentado mediante generadores y relaciones.
Por lo tanto, $D_n = \langle a,b \;|\; a^n=1,b^2=1,abab=1 \rangle$ tiene tal propiedad universal.
Considera $f:\{a, b\} \to H$ definida por $f(a)=R_{360^\circ/n}$ y $f(b)=V$ donde $H$ es el grupo de isometrías de un polígono regular de n lados, $R_{360^\circ/n}$ es una rotación de $360^\circ/n$ y $V$ es alguna reflexión en $H$ (H es una realización concreta de $D_n$). Nota que la relación $a^n=1$ se traduce a $f(a)^n=R_{360^\circ/n}^n=R_{0^\circ}$, $b^2=1$ se traduce a $f(b)^2=V^2 =R_{0^\circ}$. Finalmente, $abab=1$ se traduce a $f(a)f(b)f(a)f(b)=R_{360^\circ/n}VR_{360^\circ/n}V=WW$ donde $W$ es alguna reflexión, por lo que $f(a)f(b)f(a)f(b)=R_{0^\circ}$. Por lo tanto, todas las relaciones se satisfacen.
Por lo tanto, existe un homomorfismo único que extiende a $f$, llamémoslo $\hat{f}:D_n\to H$.
Ahora, $\hat{f}(a)=f(a)=R_{360^\circ/n}$, por lo que el orden de $\hat{f}(a)$ es $n$. Por lo tanto, el orden de $a$ debe ser un múltiplo de $n$. Sin embargo, $a^n=1$, por lo que el orden de $a$ no es más que $n$. Así que es $n$.
Podríamos haber usado matrices $2 \times 2$ para realizar $D_n$ (pero eso sería muy complicado de escribir). Además, sin mucho más esfuerzo, podríamos haber demostrado que $\hat{f}$ es en realidad un isomorfismo.
Para probar que el orden de $b$ es 2, podemos usar el grupo concreto $\mathbb{Z}_2$. Define $f:\{a,b\}\to \mathbb{Z}_2$ por $f(a)=0$, $f(b)=1$ (en $\mathbb{Z}_2$). Verifiquemos las relaciones (ten en cuenta que usamos la notación aditiva para $\mathbb{Z}_2$): $nf(a)=n0=0$, $2f(b)=2\cdot 1=0$, $f(a)+f(b)+f(a)+f(b)=0+1+0+1=0$.
Por lo tanto, existe un homomorfismo único que extiende a $f$, digamos $\hat{f}:D_n \to \mathbb{Z}_2$. De nuevo, $\hat{f}(b)=1$ tiene orden 2, por lo que el orden de $b$ debe ser un múltiplo de 2. Sin embargo, $b^2=1$, por lo que su orden no es más que 2. Por lo tanto, su orden es exactamente 2.
Al final, se prueban cosas sobre tu grupo de generadores/relaciones usando grupos concretos (imágenes homomórficas concretas).
Nota: Es tentador intentar probar que el orden de $a$ es $n$ usando un grupo como $\mathbb{Z}_n$, pero $\mathbb{Z}_n$ no es una imagen homomórfica de $D_n$ (en general), por lo que esto no funciona. :(