Para convertir una clase en una categoría, se necesita una noción de morfismos entre los objetos de la clase. Esto es lo esencial.
Consideremos, por ejemplo, la clase de las series reales infinitas, consideradas como el conjunto $S = \mathbb{R}^{\aleph_0}$ de secuencias de números reales. (A menudo existe cierta confusión notacional y "ontológica" entre los términos de una serie infinita, su secuencia asociada de sumas parciales y su suma, si la tiene. ¿Cuál de ellos "es" la serie? Pero tales consideraciones no son relevantes aquí y, de hecho, suelen considerarse antitéticas al punto de vista categórico). Para obtener una categoría, es necesario identificar un conjunto de morfismos entre dos elementos cualesquiera de este conjunto. Esto se puede hacer de muchas maneras: por ejemplo, se puede utilizar la ordenación inducida por la ordenación estándar en $\mathbb{R}$ y la ordenación lexicográfica de la secuencia, y a continuación $S$ es un conjunto totalmente ordenado. Podríamos entonces definir una categoría teniendo $\operatorname{Hom}(s,t)$ es un conjunto de un punto si $s \leq t$ y el conjunto vacío en caso contrario (y luego tomar la ley de composición única de morfismos, definida cuando $s \leq t \leq u$ ).
Pero la pregunta es: ¿qué tiene que ver esta categoría con cualquier aspecto de la teoría de la series infinitas? Aparentemente nada. Se podría crear cualquier número de otras categorías con el conjunto subyacente $S$ pero te encuentras con el mismo problema: el área muy antigua y extremadamente bien desarrollada de las matemáticas que estudia la convergencia y divergencia de series infinitas reales simplemente no tiene nada evidente que ver con ninguna noción de "morfismos" entre series infinitas.
Lo mismo ocurre con los demás ejemplos que menciona. La estructura categórica es un tipo muy fundamental de estructura matemática; es una gran forma de pensar y unifica y conceptualiza el estudio de muchos tipos de objetos matemáticos en campos muy dispares. Pero no lo explica todo, y es francamente un poco raro pensar que debería hacerlo.
