Hay una respuesta teórica (en contraposición a una respuesta algorítmica) en "Combinatorics of Coxeter groups" de Björner y Brenti, sección 1.5. (Parece que dan crédito a Matsumoto por su teorema 1.5.1). (Su teorema 1.5.1 es el siguiente:
Supongamos que $W$ es un grupo generado por un subconjunto $S$ formado por elementos de orden $2$ . Entonces TFAE:
- $(W,S)$ es un sistema Coxeter (es decir $S$ genera $W$ como grupo Coxeter)
- $(W,S)$ tiene la Propiedad de Intercambio.
- $(W,S)$ tiene la propiedad de borrado.
Se trata de propiedades escritas en términos de palabras reducidas.
Para hablar de un algoritmo real, necesitamos un significado preciso de la suposición de que "se nos da un grupo ". $G$ en términos de generadores $t_1,\ldots,t_n$ ". La única interpretación razonable que le encuentro es que tenemos un oráculo que te dice si dos palabras de los generadores representan el mismo elemento.
En principio, podría diseñar un algoritmo "parcial", comprobando el Intercambio o el Borrado. Pero si tu grupo es infinito, podría ejecutarse eternamente, y nunca sabrías si tu algoritmo está a punto de dar con un contraejemplo al Intercambio o al Borrado.
EDIT: Ahora que me he dado cuenta de que la pregunta especifica que todo esto tiene lugar dentro de algún grupo simétrico $S_m$ : El grupo $G$ es finito, por lo que hay finitamente muchas palabras reducidas, y la Propiedad de Intercambio se puede comprobar en tiempo finito.