Aunque has pedido específicamente aplicaciones que no sean de la física, permíteme empezar mencionando que la teoría de la representación es de suma importancia en la física, y una vez que te decidas a buscar esas aplicaciones, ¡encontrarás muchas! Lo mismo ocurre con la química.
Ahora para aplicaciones en matemáticas puras. Como mencionó Tobías en un comentario, dos aplicaciones famosas son la de Burnside $pq$ -y el teorema de la estructura de los grupos de Frobenius. Ambos se analizan en detalle en el capítulo 6 de mi apuntes de teoría de la representación . El maravilloso libro de Isaacs sobre la teoría de los caracteres contiene una gran cantidad de aplicaciones de la teoría de la representación. Por ejemplo, la clasificación de los grupos simples finitos es completamente impensable sin la teoría de la representación, tanto clásica como modular, e Isaacs da una idea de ello. De hecho, la teoría de los caracteres fue inventada por Frobenius sin pensar en las representaciones, y en el intento de resolver un problema puramente de teoría de grupos. Más tarde, Schur señaló que lo que Frobenius había hecho realmente era teoría de la representación. Un esbozo de esta historia se encuentra en la introducción de las notas mencionadas, pero hay mejores fuentes.
La teoría de la representación es extremadamente importante en la teoría de los números. En particular, hay grupos que no sabemos cómo empezar a entender, si no es a través de sus representaciones, sobre todo el grupo de Galois absoluto de $\mathbb{Q}$ . Es muy grande, y no está claro cómo describir grupos tan grandes de forma útil (nótese que los generadores y las relaciones son inútiles para la mayoría de los propósitos, ya que ni siquiera existe un algoritmo para saber si una presentación dada describe el grupo trivial). Por otro lado, el grupo de Galois, por su propia naturaleza, actúa sobre muchas cosas, y es muy natural intentar entenderlo a través de estas acciones.
Por último, hay que tener en cuenta que las representaciones grupales son simplemente parte de nuestro mundo, por lo que sería una tontería intentar evitarlas. En particular, históricamente se podría argumentar que las representaciones de grupo nacieron antes que los grupos. Esto no es cierto literalmente, ya que la definición no apareció hasta el siglo XX, pero sí lo es moralmente: la primera encarnación de los grupos que la gente consideró fue la de las simetrías de los objetos geométricos. Y éstas no son otra cosa que representaciones de grupos.