Dado que la imagen de $\varphi$ se encuentra dentro de $\mathbb{Z}[x_1,\ldots,x_n]$ puede reemplazar $\mathbb{Q}[x_1,\ldots,x_n]$ con $\mathbb{Z}[x_1,\ldots,x_n]$ (ya que la imagen desaparece en la segunda si y sólo si desaparece en la primera).
Cualquier mapa de $\mathbb{Z}\langle x_1,\ldots,x_n\rangle$ a un anillo conmutativo factores unívocos a través de $\mathbb{Z}[x_1,\ldots,x_n]$ por la propiedad universal del anillo polinómico.
Explícitamente: dado cualquier homomorfismo de anillo $f\colon R\to S$ , donde $R$ y $S$ son conmutativos, y dado cualquier elemento $s_1,\ldots,s_n\in S$ existe un homomorfismo único $\overline{f}\colon R[x]\to S$ tal que $\overline{f}(r)=f(r)$ para todos $r\in R$ y $\overline{f}(x_i) = s_i$ para $i=1,\ldots,n$ .
En particular, si $\Phi$ es cualquier mapa de $\mathbb{Z}\langle x_1,\ldots,x_n\rangle$ a un anillo conmutativo $S$ entonces $\Phi(x_i)$ determina un homomorfismo único $\psi\colon\mathbb{Z}[x_1,\ldots,x_n]\to S$ con $\psi(x_i)=\Phi(x_i)$ y $\psi(1) = \Phi(1)$ . Este mapa forma un triángulo conmutativo con el mapa cotizante $\varphi$ . Por lo tanto, obtenemos $\Phi=\psi\circ\varphi$ como sugiere en el punto (1) (después de sustituir $\mathbb{Q}$ con $\mathbb{Z}$ .
Así, si $\Phi$ es cualquier mapa de $\mathbb{Z}\langle x_1,\ldots,x_n\rangle$ a un anillo conmutativo $S$ , entonces necesariamente $\mathrm{ker}(\varphi)\subseteq\mathrm{ker}(\Phi)$ lo que responde a su primera pregunta.
(O se puede pensar en el "multigrado" de un monomio en $\mathbb{Z}\langle x_1,\ldots,x_n\rangle$ que sólo cuenta el exponente total de cada variable; un elemento de $\mathbb{Z}\langle x_1,\ldots,x_n\rangle$ se encuentra en el núcleo de $\varphi$ si y sólo si es una suma de "términos homogéneos", es decir, mismo multigrado para todos los monomios, donde los coeficientes suman $0$ . Cualquier término homogéneo estará también en el núcleo de cualquier $\Phi$ ya que la imagen es conmutativa).
Pero no estoy seguro de por qué tendrías que pasar por esto para tu segunda pregunta: $\mathrm{trace}(AABABB-AABBAB)$ puede escribirse como un polinomio (conmutativo) en el $8$ que forman las entradas de $A$ y $B$ con coeficientes enteros; es decir, un elemento de $\mathbb{Z}[x_1,\ldots,x_n]$ (no de $\mathbb{Z}\langle A,B\rangle$ (porque estamos viendo el rastro, no el producto en sí). Si $3$ veces esta expresión es $0$ como elemento de $\mathbb{Z}[x_1,\ldots,x_n]$ entonces esta expresión es en sí misma $0$ simplemente porque $\mathbb{Z}[x_1,\ldots,x_n]$ es un dominio integral. Y a partir de ahí, se obtiene que la expresión correspondiente es también idénticamente cero sobre cualquier campo, porque es cero en el anillo polinómico inicial $\mathbb{Z}[x_1,\ldots,x_n]$ .
Es decir, la falta de conmutatividad entre las matrices no importa aquí, porque la expresión que buscamos, la traza, se calcula en términos de la coeficientes de las matrices mediante operaciones conmutativas (aunque complicadas).
Por ejemplo, si se trata de la huella de $AB-BBA$ , tendrías $$\begin{align*} A&=\left(\begin{array}{cc} a_{11} & a_{12}\\ a_{21} & a_{22} \end{array}\right),\\ B&=\left(\begin{array}{cc} b_{11} & b_{12}\\ b_{21} & b_{22} \end{array}\right),\\ \mathrm{trace}(AB - BBA) &= \mathrm{trace}(AB) - \mathrm{trace}(BBA)\\ &= \Bigr(a_{11}b_{11} + a_{12}b_{21} + a_{21}b_{12}+a_{22}b_{22}\Bigr) \\ &\qquad\mathop{+} \Bigl( (b_{11}^2+b_{12}b_{21})a_{11} + (b_{11}b_{12}+b_{12}b_{22})a_{21}\\ &\qquad\quad\mathop{+} (b_{21}b_{11}+b_{22}b_{21})a_{12} + (b_{21}b_{12}+b_{22}^2)a_{22}\Bigr) \end{align*}$$ Este es un polinomio en $\mathbb{Z}[a_{11},\ldots,b_{22}]$ con variables conmutativas; no es un elemento de $\mathbb{Z}\langle a_{11},\ldots,b_{22}\rangle$ .
Obsérvese que no se puede interpretar el mapa de trazas como un homomorfismo de anillo de $\mathbb{Z}\langle A,B\rangle$ a algo, porque la traza no es un homomorfismo de anillo: la traza del producto no es el producto de las trazas.