El hecho de que una función sea un subconjunto de $A \times B$ no garantiza que el rango de la función sea $A$, por lo que no puedes inferir de $G \circ F \subseteq A \times C$ que $\operatorname{dom}(G \circ F) = A$. También asumiste más de lo que se te dio cuando hiciste $\operatorname{dom} G = \operatorname{ran} F$: todo lo que se te permite asumir es que $\operatorname{dom} G \subseteq \operatorname{ran} F.
Realmente no es necesario, ni siquiera es tan útil en este caso, introducir nuevos nombres para los dominios y rangos de $F$ y $G$; usar las notaciones $\text{dom}$ y $\text{ran}$ explícitamente hace más fácil tener en mente a qué conjunto nos referimos en un momento dado, por eso es lo que haré.
Por definición $$G \circ F = \Big\{\langle a,c \rangle \in \operatorname{dom} F \times \operatorname{ran} G: \langle a,b \rangle \in F \text{ y } \langle b,c \rangle \in G \text{ para algún } b \Big\}\;.
De esta definición es inmediatamente claro que $\operatorname{dom}(G \circ F) \subseteq \operatorname{dom} F$, por lo que solo necesitamos mostrar que $\operatorname{dom} F \subseteq \operatorname{dom}(G \circ F)$. Esto es un fácil rastreo de elementos: comienza con un $a$ arbitrario en $\operatorname{dom} F$ y muestra que pertenece a $\operatorname{dom}(G \circ F).
Entonces sea $a \in \operatorname{dom} F$ arbitrario. Entonces hay un $b \in \operatorname{ran} F$ tal que $\langle a,b \rangle \in F$. Pero $\operatorname{ran} F \subseteq \operatorname{dom} G$ por hipótesis, así que $b \in \operatorname{dom} G$ y, por lo tanto, hay un $c \in \operatorname{ran} G$ tal que $\langle b,c \rangle \in G$. Por lo tanto, hay un $b$ tal que $\langle a,b \rangle \in F$ y $\langle b,c \rangle \in G$, por lo que $\langle a,c \rangle \in G \circ F$ y, por lo tanto, $a \in \operatorname{dom}(G \circ F)$ por definición. Esto muestra que $\operatorname{dom} F \subseteq \operatorname{dom}(G \circ F)$ y, dado que ya sabíamos que $\operatorname{dom}(G \circ F) \subseteq \operatorname{dom} F$, hemos mostrado que $\operatorname{dom}(G \circ F) = \operatorname{dom} F$.