Supongamos $m=qm'$ donde $q$ es una potencia de $p$ y $m'$ es coprimo con $p$. Entonces, para $A\in X_m$ podemos tomar la descomposición de Jordan $A=us$, así que $u^ms^m=1$. Por la unicidad de la descomposición de Jordan, $u^m=1$ y $s^m=1$. Pero $u$, al ser unipotente, tiene un orden que es una potencia de $p$, entonces $u^q=1$. De manera similar, $s^{m'}=1$. Así que: $$\# X_m=\sum_{s\in X_{m'}}\#\{u\in C_G(s):u^q=1\}.$$
Aquí, los valores propios de $s$ son multiconjuntos $Eig$ de órbitas de Galois de soluciones a $X^m=1$. Para cada órbita de Galois $\alpha\subset\mu_{m'}$, sea $n_\alpha$ la multiplicidad de $\alpha$ en $Eig$, y sea $q_\alpha:=p^{\deg(\alpha)}$ la menor potencia $q$ de $p$ tal que $\alpha\subset\mathbb F_q$.
Ahora, vemos que $$\#\{u\in C_G(s):u^q=1\}=\prod_{\alpha\subset\mu_{m'}}\#\{u\in\mathrm{GL}_{n_\alpha}(\mathbb F_{q_\alpha}):u^q=1\}.$$
Más aún, dado un elemento semisimple $s$, hay $\#(G/C_G(s))=\#\mathrm{GL}_n(\mathbb F_q)/\prod_\alpha\#\mathrm{GL}_{n_\alpha}(\mathbb F_{q^\alpha})$ elementos semisimples conjugados a él, así que de hecho, $$\# X_m=\sum_{Eig}\frac{\#\mathrm{GL}_n(\mathbb F_p)}{\prod_j\#\mathrm{GL}_{n_\alpha}(\mathbb F_{q_\alpha})}\prod_{\alpha\in Eig}\#\{u\in\mathrm{GL}_{n_\alpha}(\mathbb F_{q_\alpha}):u^q=1\}.$$
Para organizar mejor la fórmula, sea $$N_n^m(\mathbb F_q):=\#\{X\in\mathrm{GL}_n(\mathbb F_q):X^m=1\}/\#\mathrm{GL}_n(\mathbb F_q)$$ la proporción de elementos en $\mathrm{GL}_n(\mathbb F_q)$ con $X^m=1$. Ahora, la fórmula anterior puede reescribirse como $$N_n^m(\mathbb F_p)=\sum_{Eig}\prod_{\alpha\in Eig} N_{n_\alpha}^q(\mathbb F_{q_\alpha}).$$
Esto se puede reformular aún más, considerando funciones generadoras $$f^m(\mathbb F_q)(T):=\sum_{n\ge0}N_n^m(\mathbb F_q)T^n.$$ Entonces, tenemos: $$f^m(\mathbb F_p)(T)=\prod_{\alpha\subset\mu_{m'}}f^q(\mathbb F_{q_\alpha})(T^{n_\alpha}).$$
Ahora, el cálculo de $\# X_m$ se reduce esencialmente cuando $m$ es una potencia de un primo. Cuando $m\ge p^n$ el conjunto es exactamente el conjunto de elementos nilpotentes de $M_n(\mathbb F_p)$, que es $p^{n(n-1)}$, como se mencionó en los comentarios. De lo contrario, no conozco ninguna fórmula elegante para el tamaño de dichos conjuntos.
Un ejemplo particularmente interesante es cuando $m|(p-1)$, en el cual estamos buscando el coeficiente de $T^n$ en la serie de potencias $$\left(\sum_{k=0}^\infty\frac1{\#\mathrm{GL}_k(\mathbb F_p)}T^k\right)^m,$$ donde $\#\mathrm{GL}_k(\mathbb F_p)=\prod_{i=0}^{k-1}(p^k-p^i)$ es algún análogo del factorial. Esta función se asemeja mucho al exponencial $q$, y es alguna serie hipergeométrica.
