La forma correcta de hacerlo es a través de la teoría de la representación. Necesitarás leer un poco sobre la teoría de la representación para entender esta respuesta
Deje que $H_1$ , $H_2$ ser los dos subgrupos. Primero, déjeme comentar que el acercamiento a través de las formas normales de Jordan no resuelve el problema en absoluto. Puede decirte si dos matrices se conjugan. Pero si $H_i$ no son cíclicos, entonces no es suficiente. Puede ser que todos sus generadores estén conjugados (sobre $ \mathbb {Q}$ ), sino a través de diferentes elementos de $GL(n, \mathbb {Q})$ y los grupos no están de hecho conjugados.
Ahora, para un enfoque que sí funciona $ \mathbb {Q}$ . Para $H_1$ , $H_2$ para ser conjugados, ciertamente deberían ser isomórficos. Así que dejemos $ \phi :H_1 \rightarrow H_2$ ser un isomorfismo.
Teorema: $H_1$ y $H_2$ se conjugan en $GL(n, \mathbb {Q})$ si y sólo si existe un automorfismo $ \psi $ de $H_2$ de tal manera que $ \operatorname {Tr}h = \operatorname {Tr} \psi ( \phi (h))$ para todos $h \in H_1$ donde $ \operatorname {Tr}$ es el rastro de los elementos en $GL(n, \mathbb {Z})$ .
Este asombroso teorema es el gran logro de la teoría de la representación de grupos finitos. Para obtener una prueba, puede consultar cualquiera de las referencias estándar sobre la teoría de la representación (por ejemplo, Isaacs, Serre, Curtis y Reiner) o mis notas .
Sin embargo, la cuestión de la conjugación sobre $ \mathbb {Z}$ es mucho más sutil. Una vez que aprendas algo de teoría de la representación, tu pregunta puede ser reformulada como clasificar (o al menos distinguir) las clases de isomorfismo de $ \mathbb {Z}$ -rango libre $n$ fiel $ \mathbb {Z}[G]$ -módulos, donde $G$ es un grupo finito dado (abstractamente isomórfico a $H_i$ en la anotación anterior). Y esto, me temo, está completamente fuera de alcance. Por otro lado, eso puede ser algo bueno, ya que hace que mi trabajo sea interesante.
Por último, en una nota positiva: hay un dato debido a Jordan y Zassenhaus, que dice que por dado $n$ y dado $G$ sólo hay finamente muchas clases distintas de isomorfismo de $ \mathbb {Z}[G]$ -módulo de $ \mathbb {Z}$ -Ranking $n$ . En otras palabras, sólo hay finamente muchas clases de conjugación de subgrupos finitos de $GL(n, \mathbb {Z})$ isomorfo a $G$ . Nunca lo he intentado seriamente, pero creo que la prueba de Jordan-Zassenhaus puede hacerse efectiva en el sentido de que produciría explícitamente un conjunto de representantes. Pero eso no resolvería del todo su problema.
Editar: Creo que fui un poco demasiado pesimista arriba. No es necesario clasificar las representaciones integrales para resolver este problema. Para lo que sigue, necesitarás aprender algo de teoría de la representación. Una conjugación del tipo que estás buscando por una matriz en $GL(n, \mathbb {Z})$ (respectivamente en $GL(n, \mathbb {Q})$ ) es lo mismo que un isomorfismo entre los módulos asociados/representaciones sobre $ \mathbb {Z}$ (respectivamente sobre $ \mathbb {Q}$ ). Deje que $ \rho_i :G \rightarrow GL(n, \mathbb {Z})$ , $i=1,2$ sean las dos representaciones integrales de $G$ con imágenes $H_1$ , $H_2$ asume que $ \rho_i\otimes\mathbb {Q}$ son isomórficas. Primero, necesitas calcular el anillo de endomorfismo de la representación racional dada de $G$ . A continuación, encontrar un isomorfismo de $ \rho_1\otimes\mathbb {Q}$ a $ \rho_2\otimes\mathbb {Q}$ . Ambas cosas se pueden hacer usando las técnicas estándar de la teoría de la representación. Eso permite escribir un isomorfismo general de $ \rho_1\otimes\mathbb {Q}$ a $ \rho_2\otimes\mathbb {Q}$ como un mapa lineal en términos de bases en $ \rho_1 $ y $ \rho_2 $ y para comprobar si tal isomorfismo está representado por una matriz con coeficientes enteros y con el determinante 1. Todo esto debería ser realizable algorítmicamente.