Tengo que admitir que esto no es realmente una respuesta, sino más bien una especie de meta-respuesta con algunas observaciones muy generales que espero no aburran a todos los que lean esto; sólo me parece que es necesario para indicar que es bastante erróneo, como ya dice Yemon en los comentarios y estoy muy de acuerdo, plantear una pregunta así si algún libro introduce el número elemental mediante la teoría de categorías.
Las matemáticas se centran en las relaciones no triviales e inesperadas. La Teoría de Categorías no trata realmente de encontrar tales relaciones, sino más bien de la configuración correcta, el lenguaje y color se desarrolla alguna teoría. Este punto de vista no contradice realmente el desarrollo hasta ahora de la teoría de categorías en un área enorme de las matemáticas por derecho propio, llena de teoremas profundos no triviales; en concreto, porque a menudo hay algún trasfondo geométrico o de cualquier otro tipo que es nuestra verdadera motivación. Hay ejemplos omnipresentes (categorías modelo, topoi, pilas, $\infty$ -categorías, ...) que no quiero detallar aquí.
De todos modos, como ya he dicho, las matemáticas empiezan realmente cuando ocurre algo inesperado, que sí no se desprenden de la teoría general de categorías. Por ejemplo, el functor covariante $\hom(X,-)$ es siempre continua, pero ¿cuándo es también cocontinua, o respeta al menos colímites filtrados? Resulta que esto conduce a una condición natural de finitud en $X$ , es decir, llamamos $X$ entonces finitamente presentado. Pero finalmente para llegar a la pregunta, $\mathbb{Z}$ se ve fácilmente que es un objeto inicial en la categoría de anillos, pero ¿qué teoremas de la teoría de categorías se conocen sobre los objetos iniciales? Pues no hay nada que decir, salvo que cada dos objetos iniciales son canónicamente isomorfos, lo cual es sólo una consecuencia trivial de la definición. Así que $\hom(\mathbb{Z},-)$ es fácil de describir, pero ¿qué pasa con el functor contravariante $\hom(-,\mathbb{Z})$ ? ¿Qué sucede cuando se conecta $\mathbb{Z}[x,y,z]/(x^n+y^n=z^n)$ para algunos fijos $n>2$ ? ¿Ayuda la teoría de las categorías a entender esto? Este ejemplo también muestra que aunque el Lema de Yoneda dice que un objeto $X$ de una categoría está determinada por su functor $\hom(X,-)$ no te dice nada sobre la relación de $X$ con otros objetos, por ejemplo cuando sólo invertimos las flechas. En cambio, tenemos que utilizar una encarnación específica de la categoría y sus objetos para derivar algo que no existía sólo por un sinsentido abstracto.
Quizás las preguntas relacionadas sean más interesantes: ¿Qué investigaciones en la teoría elemental de números han conducido a alguna teoría de categorías (por ejemplo, vía categorización), que luego se aplicó también a otras categorías, estableciendo así analogías no triviales? O para la otra dirección, ¿qué conceptos generales se vuelven interesantes en la teoría elemental de los números después de algún proceso de descategorización? Pero en cualquier caso, debe entenderse que hay que digerir la teoría elemental de números antes de eso...