Como ha señalado Joshua en los comentarios, esto es cierto. También tienes una idea útil para el resto de tu carrera matemática: podemos entender un objeto en sí mismo (hasta el isomorfismo) entendiendo los morfismos hacia/desde él.
Veamos por qué es cierto este resultado en particular:
Diga $(H,\cdot) = (X,\ast)$ y $f : H \to X$ es el mapa de identidad. Entonces por su condición, $f : (X,\ast) \to (X, \ast')$ es también un homomorfismo. Del mismo modo, tomando $(H,\cdot) = (X, \ast')$ vemos que el mapa de identidad es también un homomorfismo en la otra dirección. Es decir:
$$(X, \ast) \overset{\text{id}}{\longrightarrow} (X, \ast') \overset{\text{id}}{\longrightarrow} (X, \ast)$$
Desde $\text{id} \circ \text{id} = \text{id}$ vemos que estos mapas son inversos, y así $(X,\ast) \cong (X, \ast')$ . De hecho, como el mapa de identidad es el isomorfismo, vemos
$$a \ast b = \text{id}(a \ast b) = \text{id}(a) \ast' \text{id}(b) = a \ast' b$$
por lo que las operaciones deben coincidir exactamente.
Como ejercicio (¿divertido?) se puede utilizar un argumento similar si trabajamos con la condición de que los mapas de $(X, \ast) \to H$ son los mismos que los mapas $(X, \ast') \to H$ ? La misma idea funciona, pero será bueno que la repases.
Como curiosidad, este teorema es un caso especial del famoso (¿infame?) Lemma de Yoneda . A grandes rasgos, el lema de Yoneda (una versión del mismo, al menos) dice que, en entornos muy generales, esta idea siempre funciona.
Es decir, si tienes dos objetos $A$ y $B$ y sabes que tienen "los mismos" morfismos hacia ellos (o desde ellos) entonces $A \cong B$ . Aquí la noción de morfismos "iguales" es un poco más general que la igualdad estricta que has pedido (es la noción de un isomorfismo natural ) pero moralmente está en juego la misma idea.
Espero que esto ayude ^_^
