Esta es una buena pregunta. Está claro que el subespacio de $L^2(m)$ generados por los personajes separarán los puntos de $G$ si y sólo si el propio conjunto de caracteres continuos (sin tomar ninguna combinación lineal) separa puntos de $G$ . Si se desenrolla la definición esta es la afirmación de que para cualquier $a$ y $b$ en $G$ Satisfaciendo a $a \neq b$ hay un carácter continuo $\chi$ en $G$ con $\chi(a) \neq \chi(b)$ . Y si dejas que $e$ denota el elemento de identidad de $G$ ya que los caracteres son multiplicativos, esta condición es equivalente a la afirmación de que para cualquier $g \neq e$ hay un carácter continuo $\chi$ en $G$ Satisfaciendo a $\chi(g) \neq 1$ .
Nótese que para algunos grupos compactos, esto es obvio: por ejemplo, para $\mathbb{T} = \{w \in \mathbb{C}: |w| = 1\}$ el carácter único $z \mapsto z$ el mapeo de identidad, lo hace para cada $g \neq 1$ en $\mathbb{T}$ . Pero para un grupo abeliano compacto abstracto y arbitrario, este es un teorema sustancial. Creo que fue demostrado por primera vez por von Neumann. El enunciado sigue siendo cierto para localmente grupos abelianos compactos e incluso se generaliza a grupos localmente compactos que pueden no ser abelianos. En esta forma suele llamarse teorema de Gelfand-Raikov y afirma que si $G$ es un grupo localmente compacto, entonces para cada $g \in G$ con $g \neq e$ hay algún espacio de Hilbert $H$ y una representación unitaria continua e irreducible $\phi: G \to \mathcal{B}(H)$ de $G$ en $H$ con la propiedad de que $\phi(g)$ no es el operador de identidad en $H$ . Uno recupera el hecho que quiere al notar que si $G$ es compacto, entonces $H$ es necesariamente de dimensión finita y que si $G$ es abeliano $H$ es, de hecho, unidimensional y, por lo tanto, un carácter (una versión de este último hecho suele llamarse lema de Schur).
De hecho, no se me ocurre ninguna prueba del resultado que quieres, salvo la que se me ocurre al especializar todo este argumento a tu caso, es decir, convertirlo en un problema de teoría de la representación. Francamente, no sé cuál era la prueba original de von Neumann: puede que fuera más sencilla, pero no creo que lo fuera. Si miras la mayoría de los tratamientos modernos de estas cosas en los libros de texto, tienden a dar el resultado general y a deducir tu caso especial como corolario.
El teorema de Gelfand-Raikov es un trabajo bastante importante. Se suele demostrar observando que las representaciones unitarias irreducibles de $G$ en el espacio de Hilbert están en correspondencia uno a uno con ciertas representaciones del llamado álgebra de grupo $L^1(G)$ en el espacio de Hilbert. Estos resultan ser mucho más fáciles de construir de forma abstracta: se pueden obtener a partir de los funcionales lineales positivos en $L^1(G)$ que, a su vez, pueden obtenerse a partir de funciones sobre $G$ mismo satisfaciendo ciertas propiedades de "positividad", y uno termina probando su resultado al demostrar que hay suficientes de estos para que todo funcione.
Al menos en mi opinión, todo esto es bastante más difícil de demostrar que el teorema de Stone-Weierstrass, o incluso que la existencia de la medida de Haar así que si estás dispuesto a darlos por sentados, deberías estar dispuesto a dar por sentados también este hecho. Tenga la seguridad: que los caracteres separan puntos en un grupo abeliano compacto arbitrario es no una trivialidad (aunque en ejemplos concretos, como vimos, puede ser evidente). El hecho de que te dieras cuenta de que no era fácil de demostrar demuestra que estabas pensando muy cuidadosamente en el problema.
Para una buena referencia sobre todas estas cosas recomiendo, por ejemplo, "Abstract Harmonic Analysis" de Hewitt y Ross, o un libro de Folland con el mismo título o uno equivalente.
