La respuesta de Diracología es correcta en cuanto a que este es el uso estándar del término "dimensión de una representación", pero supongo que puedes estar confundido simplemente porque hay otro significado plausible que la frase podría tener, pero no tiene, en la literatura.
Recuerda que una representación $\rho:\mathfrak{G}\to\mathrm{End}(V)$ es un homomorfismo entre un grupo de Lie $\mathfrak{G}$ y el grupo $\mathrm{End}(V)$ de endomorfismos lineales y homogéneos en un espacio vectorial $V$. Ejemplo: $\mathfrak{G}$ suele ser el grupo de Lorentz o el grupo de Poincaré y $V$ el espacio de Hilbert seprable e infinitamente dimensional de los estados de un sistema cuántico y buscamos $\rho$ que nos diga qué transformación unitaria sufre nuestro espacio de estados cuánticos cuando se le imponen transformaciones de Poincaré al marco de referencia del sistema cuántico.
La dimensión de esta representación es, como se discute en la respuesta de Diracología, $\aleph_0$. O, en ejemplos ligeramente diferentes, podría ser algún número finito: el mismo que la dimensión del espacio de estados cuánticos en cuestión: la dimensión del espacio vectorial $V$.
De todas formas, siempre exigimos que $\rho$ sea suave, de modo que el grupo de endomorfismos $\mathfrak{H} = \mathrm{Im}(\rho)\subseteq\mathrm{End}(V)\subseteq GL(V)$ en el extremo puntiagudo del homomorfismo $\rho$ también sea un grupo de Lie. En consecuencia, debido a que $\rho$ es un homomorfismo, la dimensión de $\mathfrak{H}$ como grupo de Lie debe ser igual o menor que la del grupo de Lie original. Este es el segundo significado plausible de dimensión aquí, pero no es un uso estándar llamar a este número la dimensión de la representación. Esta última dimensión depende del núcleo del homomorfismo. Si el núcleo es discreto, entonces $\mathfrak{G}$ es un recubrimiento de $\mathfrak{H}$ y los dos grupos tienen la misma dimensión. Si el núcleo es un grupo de Lie, entonces la dimensión de $\mathfrak{H}$ es menor que la de $\mathfrak{G}$ de modo que $\dim(\mathfrak{G})=\dim(\mathfrak{H}) + \dim(\ker(\rho))$.