En primer lugar: $\rho$ se utiliza normalmente para una representación de Galois; en el contexto, estoy bastante seguro de que se supone que es la representación de Galois dada por el módulo de Tate de una curva elíptica sobre $\mathbf{Q}$ que es un homomorfismo continuo $\operatorname{Gal}(\overline{\mathbf{Q}} / \mathbf{Q}) \to \operatorname{GL}_2(\mathbf{Z}_p)$ para algún primo $p$ . $\operatorname{Sym}^2 \rho$ es la representación cuadrada simétrica de Galois en $\operatorname{GL}_3(\mathbf{Z}_p)$ .
En el $H^1$ poco: $\mathbf{Q}_\Sigma$ es la extensión máxima de $\mathbf{Q}$ no ramificado fuera de un conjunto finito $\Sigma$ de primos, y $H^1(\mathbf{Q}_\Sigma / \mathbf{Q}, -)$ es la abreviatura de la cohomología del grupo $H^1(\operatorname{Gal}(\mathbf{Q}_\Sigma / \mathbf{Q}), -)$ (más estrictamente, cohomología gropu continua, que respeta la topología de Krull sobre el grupo de Galois). Podemos sustituir " $-$ " cualquier representación de Galois factorizada a través del mapa canónico $$\operatorname{Gal}(\overline{\mathbf{Q}} / \mathbf{Q}) \to \operatorname{Gal}(\mathbf{Q}_\Sigma / \mathbf{Q}),$$ es decir, cualquier representación de Galois no ramificada fuera de $\Sigma$ la representación de Galois adjunta a una curva elíptica (o su cuadrado simétrico) satisface esto siempre que $\Sigma$ contiene $p$ y todos los primos que dividen el discriminante de la curva elíptica.
En cuanto a $\mathbf{Q}_p / \mathbf{Z}_p$ es el "grupo de Prufer", un grupo de torsión infinito isomorfo al límite directo de los grupos cíclicos de orden $p^n$ sobre todo $n$ . Es útil aquí porque teniendo homs en $\mathbf{Q}_p / \mathbf{Z}_p$ da una teoría de dualidad bien comportada para módulos topológicos (una forma de dualidad Pontryagin).
Lo único que aún no he explicado es el subíndice $f$ en $H^1_f(...)$ . Esto es quizás lo más delicado aquí: es la "parte finita" del grupo de cohomología de Galois $H^1(...)$ un cierto submódulo canónico definido en un famoso artículo de Bloch y Kato de 1990. $H^1_f(\mathbf{Q}_\Sigma / \mathbf{Q}, \rho)$ está estrechamente relacionado con el grupo Selmer de la curva elíptica, por lo que el $H^1_f$ es una especie de "grupo de Selmer de una representación arbitraria de Galois". El tamaño del grupo Selmer de Bloch--Kato de $\operatorname{Sym}^2 \rho$ es importante aquí porque determina cómo la teoría de la deformación de $\rho$ se comporta.
Un buen lugar para aprender más sobre estas cosas sería el libro de Cornell, Silverman y Stevens, al que el usuario33240 ya ha enlazado.