Sabes que el subgrupo conmutador $G'$ es el subgrupo normal más pequeño (con respecto a la inclusión) en $G$ tal que $G/G'$ es abeliano. Ahora creo que tu elección de $\Phi$ es la correcta: Por definición del subgrupo conmutador, dado cualquier homomorfismo $\varphi$ a un grupo abeliano $A$ tenemos que $G/\ker \varphi \cong $ (algún subgrupo de un grupo abeliano) que es abeliano, de lo que se deduce por la propiedad universal de los cocientes que siempre obtenemos a único homomorfismo de grupo
$$\psi : G/G' \longrightarrow A.$$
tal que $\psi \circ \pi = \varphi$ donde $\pi : G \longrightarrow G/G'$ . Ahora defina $\Phi : \hom(G,A) \longrightarrow \hom(G/G',A)$ por $\Phi(\varphi) = \psi$ . La unicidad de $\psi$ garantiza que $\Phi$ está bien definido . Para demostrar que $\Phi$ es un isomorfismo, se puede definir un inverso
$$\begin{eqnarray*} \Psi:&\hom(G/G',A)&\to \hom(G,A)\\ &f& \mapsto f \circ \pi.\end{eqnarray*} $$
Es evidente que $\Psi$ está bien definido. Ahora comprobamos que es la inversa de $\Phi$ . Hemos dado cualquier $f \in \hom(G/G',A)$ que
$$\Phi\circ \Psi(f) = \Phi(f \circ \pi) = f$$
donde el último paso se sigue por lo siguiente. $\Phi(f \circ \pi)$ se supone que es el único mapa lineal $g : G/G' \to A$ tal que $g \circ \pi = f \circ \pi$ , estableciendo claramente $f = g$ funciona y por tanto por unicidad se deduce que $\Phi(f \circ \pi) = f$ . Dado que esto es válido para todos los $f \in \hom(G/G',A)$ concluimos que
$$\Phi \circ \Psi = \textrm{id}_{\hom(G/G',A)}.$$
un cálculo similar muestra que $\Psi \circ \Phi$ es la identidad en $\hom(G,A)$ de lo que se deduce que $\Psi$ y $\Phi$ son inversos mutuos.