No hay fórmula, porque puede haber dos grupos en los que dos de las cantidades coincidan pero la tercera sea diferente.
Utilizaré la notación habitual: sea $G$ sea un grupo. Utilizamos $Z(G)$ para indicar el centro de $G$ , $Z(G) = \{z\in G\mid zx=xz\text{ for all }x\in G\}$ y $K(G)$ para denotar el conjunto de conmutadores de $G$ , $$K(G) = \{ [x,y]\mid x,y\in G\},\qquad\text{where }[x,y]=xyx^{-1}y^{-1}.$$ Entonces el conmutador subgrupo de $G$ es $[G,G]=\langle K(G)\rangle$ .
Lo que más me costó fue encontrar grupos del mismo tamaño, con centros del mismo tamaño pero conjunto de conmutadores de diferentes tamaños, aunque eso es lo más relevante para tus propósitos. Lo dejaré en último lugar.
Grupos $G_1$ y $G_2$ con $|Z(G_1)|=|Z(G_2)|$ , $|K(G_1)|=|K(G_2)|$ pero $|G_1|\neq|G_2|$
Toma $G_1=S_3\times C_3$ donde $C_3$ es el grupo cíclico de orden $3$ y que $G_2$ sea el grupo de Heisenberg de orden $3^3$ . Entonces $H$ tiene $K(H)=[H,H]=Z(H)$ de orden $3$ . Así que ambos $G_1$ y $G_2$ tienen centro de orden $3$ conjunto de conmutadores (que equivale al subgrupo de conmutadores) de orden $3$ pero $|G_1|=18$ y $|G_2|=27$ .
Grupos $G_1$ y $G_2$ con $|G_1|=|G_2|$ , $|K(G_1)|=|K(G_2)|$ pero $|Z(G_1)|\neq|Z(G_2)|$
Toma $G_1=S_3\times S_3\times C_{81}$ y $G_2=H\times H\times C_4$ donde $H$ es el grupo de Heisenberg de orden $27$ . Ambos grupos tienen orden $2^2\times 3^{6}$ y subgrupo de conmutadores igual al conjunto de conmutadores, de orden $9$ . Pero el centro de $G_1$ tiene orden $81$ y el centro de $G_2$ tiene orden $36$ .
Grupos $G_1$ y $G_2$ con $|G_1|=|G_2|$ , $|Z(G_1)|=|Z(G_2)|$ pero $|K(G_1)|\neq |K(G_2)|$
Sea $G_1 = D_{16}\times M$ donde $D_{16}$ es el grupo diedro de orden $16$ y $M$ es un grupo de orden $3^4$ que tiene centro de orden $3$ y es de clase $3$ (es decir, de clase máxima). Un grupo así tiene $[M,M]$ de orden $3^2$ .
Es un teorema de Guralnick que los grupos más pequeños en los que $K(G)\neq [G,G]$ tener orden $92$ (y hay dos grupos no isomorfos de este tipo), por lo que se deduce de esto (o del cálculo directo) que $[M,M]=K(M)$ Así que $K(M)$ tiene orden $3^2$ .
Tenemos que que $K(G_1) = K(D_{16})\times K(M)$ que tiene orden $2^2\times 3^2 = 36$ y $Z(G_1) = Z(D_{16})\times Z(M)$ que tiene orden $2\times 3 = 6$ .
Consideremos ahora $G_2 = S_3\times D_8\times H$ donde $H$ es el grupo de Heisenberg de orden $3^3$ . Tenemos que $K(G_2) = K(S_3)\times K(D_8)\times K(H)$ que tiene orden $3\times 2\times 3 = 18$ . Por otra parte, el centro es $Z(G_2) = Z(S_3)\times Z(D_8)\times Z(H)$ que tiene orden $2\times 3$ .
Así, tenemos $|G_1|=|G_2| = 2^4\times 3^4$ , $|Z(G_1)|=|Z(G_2)|=6$ pero $|K(G_1)| = 36\neq 18=|K(G_2)|$ .
Por lo tanto, no puede haber ninguna fórmula que dé el valor de uno de $|G|$ , $|Z(G)|$ y $|K(G)|$ en términos de los otros dos.
Ahora, puedes encuadernado $|K(G)|$ en términos de $|G|$ y $|Z(G)|$ : ya que $[xz,y]=[x,yz]=[x,y]$ para cualquier $x,y\in G$ y $z\in Z(G)$ existe un mapa suryectivo $$\frac{G}{Z(G)}\times \frac{G}{Z(G)}\to K(G),\qquad (xZ(G),yZ(G))\longmapsto [x,y].$$ Esto da como resultado inmediato $|K(G)|\leq \frac{|G|^2}{|Z(G)|^2}$ pero esto es demasiado aproximado y podemos hacerlo mejor fácilmente: cualquier par en el que alguno de los elementos sea $eZ(G)$ dará el conmutador trivial, al igual que cualquier par de la forma $[x,x]$ . Por lo tanto, tenemos $$|K(G)| \leq \left(\frac{|G|}{|Z(G)|}-1\right)\left(\frac{|G|}{|Z(G)|}-1\right) - \frac{|G|}{|Z(G)|}+2,$$ donde añadimos $2$ para tener en cuenta el conmutador trivial. Esto suele ser excesivo: por ejemplo, con $G=S_3$ tenemos $|Z(G)|=1$ por lo que el límite nos dice que $|K(G)|$ que es $3$ es menor o igual que $$(5)(5) - (5) + 2 = 22,$$ lo cual es cierto, pero demasiado grande. Se puede hacer un poco mejor ya que también sabemos que $[x^n,x^m]=1$ para cualquier número entero $n$ y $m$ pero eso requeriría conocer el orden de los elementos módulo del centro, por lo que es más conocimiento que sólo los órdenes de $G$ y $Z(G)$ . En términos más generales, sabemos que todos los elementos de $[xZ(G),C_G(x)]$ son triviales, por lo que cada coset de $Z(G)$ contribuye como máximo $|G|/|C_G(x)|$ conmutadores, donde $x$ es cualquier representante del coset.