Como usted observa implícitamente, no existe una noción bien definida de la traza de este particular matriz de dimensión infinita. (Hay es una clase de matrices (de dimensión infinita) a las que se pueden asignar trazas, llamada inventivamente clase de trazas ( https://en.wikipedia.org/wiki/Trace_class ), pero entre ellas no hay matrices unitarias de dimensión infinita). Nótese que la afirmación de que no hay traza es diferente de la afirmación de que la traza es infinita. Por ejemplo, la representación regular de $S^1$ sobre sí misma puede diagonalizarse de modo que la imagen de $z$ es la matriz $(z^n[n = m])_{m, n \in \mathbb Z}$ y no hay una respuesta razonable para la suma $\sum_{n \in \mathbb Z} z^n$ que no haga algunas suposiciones que destruirán las buenas propiedades de invariancia que nos gustaría que tuviera una traza.
Lo que se puede hacer en su lugar es recordar que el escalar es sólo la huella del distribución carácter, en el sentido de que $\operatorname{tr} \int \pi(g)f(g)\mathrm dg = \int \Theta_\pi(g)f(g)\mathrm dg$ para $f \in C^\infty(G)$ y $\pi$ una representación irreducible (de dimensión finita) del grupo de Lie compacto $G$ donde $\mathrm dg$ es una medida de Haar en $G$ y cabe preguntarse por la distribución carácter de la representación regular. Este es el $\delta$ distribución en la identidad, en el sentido de que $$\sum_{\pi \in \hat G} \operatorname{deg}(\pi)\operatorname{tr} \int \pi(g)f(g)\mathrm dg = f(e)$$ (si $\mathrm dg$ se normaliza para obtener $G$ masa total $1$ ). Esto se conoce como el teorema de Plancherel.
EDIT: La versión original de mi segundo párrafo contradecía directamente el primero, al no hablar (inadvertidamente) en absoluto del carácter de distribución. La razón por la que prefiero trabajar vía este enfoque indirecto de buscar una función escalar que represente el carácter de la distribución $f \mapsto \int \pi(g)f(g)\mathrm dg$ en lugar de limitarse a tomar el rastro de $\pi(g)$ como uno está acostumbrado a hacer, es precisamente porque maneja el caso de dimensión infinita con élan . Esto es particularmente importante en la teoría de grupos no compactos, que ni siquiera pueden ont cualquier representación de dimensión finita.