Las simetrías tienen, en efecto, un amplio y poderoso impacto en la física, y en esta respuesta sólo podré arañar la superficie del tema, pero intentaré darles una idea del mismo.
En el marco más simple, usted menciona un problema electrostático. En un problema de este tipo, el factor clave son las simetrías geométricas que se aplican a las partículas cargadas. Por ejemplo, si el volumen cargado es simétrico con respecto al plano $z=0$ entonces todo el sistema físico admite esta simetría. En consecuencia, el campo eléctrico respeta la misma simetría. Así, para un punto $r$ situado en este plano, $E(r)$ debe ser igual a su simétrica respecto a dicho plano, lo que impone que su $z$ sea 0.
Vemos aquí un ejemplo en el que una propiedad geométrica, respetada por las causas, se dice que debe ser respetada por los efectos, y nos da una pista sobre las propiedades de dichos efectos.
La formulación más general es, en efecto, la de Susskind, pero hay que considerar que "lagrangiano", en su boca, significa "la ecuación fundamental a la que obedece el sistema". Así que lo que realmente quiere decir es que si una simetría deja inalteradas las ecuaciones que rigen un sistema, entonces se dice que dicho sistema físico respeta dicha simetría. Y de este mero hecho suelen extraerse conclusiones muy profundas (piénsese, por ejemplo, en las fuerzas centrales).
La segunda definición anterior es, en efecto, la misma que en el caso simple anterior: Todo lo que escribí sobre las cargas y el campo eléctrico está contenido en la definición de Susskind, si sustituyes "coordenadas" por "coordenadas espaciales" y "Lagrangiana" por "ecuaciones de Maxwell", que no son más que una formulación más simple de la Lagrangiana en un contexto específico.
Así que, en realidad, lo que se oye en los cursos básicos de física es la definición correcta, pero expresada de forma algo chapucera y aplicada en un contexto restringido.
La teoría de grupos está estrechamente relacionada con las simetrías de los sistemas, ya que todas las operaciones de simetría que no modifican un sistema físico forman un grupo: se puede comprobar que la composición de dos simetrías de este tipo no modifica las ecuaciones del sistema, que la transformación de identidad no modifica las ecuaciones del sistema y que, para cada transformación que no modifica las ecuaciones del sistema, su inversa tampoco las modifica. Así que, naturalmente, estamos tratando con álgebra de grupos. Desempeña un papel crucial en la materia condensada, por ejemplo, porque las simetrías de un cristal determinan las simetrías del potencial en el que se mueven los electrones y, por tanto, las simetrías que dejan inalterado el Hamiltoniano (equivalente a hablar del Lagrangiano o de las ecuaciones de movimiento en un entorno más sencillo). Dado que los niveles de energía de los electrones son los valores propios del Hamiltoniano, esto tiene consecuencias sobre la estructura o dichos niveles de energía: se puede deducir el grado máximo de degeneración de los niveles de energía en el cristal a partir de simples consideraciones de simetría, y los niveles cuyas degeneraciones se levantan si tal o cual simetría se rompe por una restricción externa aplicada.
Me gustaría mencionar la simetría traslacional, que es tan sencilla que a veces se olvida, pero la simetría traslacional para todos los vectores espaciales (en otras palabras, la homogeneidad del espacio) permite demostrar que el momento se conserva, es decir, que una partícula se mueve con una velocidad constante si la masa es constante. Una simetría traslacional más restringida se encuentra en los cristales, donde la simetría traslacional sólo es válida para los vectores de la red subyacente, lo que lleva a conclusiones no menos poderosas con el teorema de Bloch y sus aplicaciones fundamentales en las teorías del transporte y muchas otras áreas de la física de la materia condensada.
Por último, me gustaría subrayar que cuando Susskind dice "coordenadas", no se refiere únicamente a "coordenadas espaciales". La simetría temporal es otra simetría importante. En términos más generales, cualquier coordenada, en el sentido de cualquier coordenada generalizada en función de la cual pueda escribirse el lagrangiano o el hamiltoniano, puede ser objeto de operaciones de simetría.
Como conclusión recomendaría la lectura del primer volumen del curso de física teórica, de Landau y Lifschitz. En los capítulos I.1 a I.9 encontrará hermosas ideas basadas en la simetría.