Otro enfoque, que no puede funcionar en general (véase la respuesta de Noé), pero que seguramente funcionará en este caso, es encontrar una forma normal para cada elemento del grupo, y luego ver si hay muchos finitos o infinitos.
En la práctica, eso significa imaginar una palabra en x e y, y luego aplicar las relaciones en la medida de lo posible para simplificarla, y luego tratar de averiguar (¡y probar!) cuáles son las posibles "palabras irreductibles" diferentes (es decir, palabras que ya no se pueden simplificar).
En su caso, lo primero que se notaría es que x sólo puede aparecer a la primera potencia (ya que cualquier potencia superior puede ser simplificada usando x^2 = 1), mientras que y sólo puede aparecer a las potencias +1 o -1 (por la misma razón). Además, no podemos tener demasiadas expresiones de la forman xy o yx en una fila, debido a la tercera relación.
Uno puede seguir así. Yo no, pero lo que imagino es que uno puede tener expresiones de la forma x y x y^{-1} x y x y^{-1} ... que son arbitrariamente largas, e inequívoco, explicando el orden infinito del grupo.
No debería ser tan difícil para resolver la cuestión desde este punto de vista, sentándose con lápiz y papel y jugando con diferentes palabras para tener una idea de qué tipo de reducciones pueden se lleve a cabo. (En argumentos geométricos como el de Grigory, se utiliza un contexto geométrico, como una acción sobre un embaldosado hiperbólico, como una forma más conceptual de entender las relaciones y distinguir palabras no equivalentes. Pero en este caso estoy seguro de que no será difícil ver todo directamente de la presentación.)
Añadido después de releer la pregunta: lo que estoy sugiriendo es precisamente que aunque la respuesta pueda ser infinita, todavía se puede esperar encontrar una enumeración de cosetas, al menos en un caso como esta con relaciones relativamente simples.