Nunca he visto a nadie vocalizar ninguna expectativa de que alguno de los ceros no triviales tenga una expresión simbólica explícita, presumiblemente a partir de la cual se podría en principio demostrar matemáticamente que dicha expresión es un cero de $\zeta(s)$ ("enchufar y ver"). Suena demasiado bien para ser verdad. Tal vez haya formas baratas de expresarlas analíticamente en términos de $\zeta(s)$ que básicamente equivalen a definirlos como ceros de la función en primer lugar de alguna manera indirecta.
Los ceros triviales, sin embargo, se puede demostrar que son de hecho ceros, utilizando la ecuación funcional y el hecho de que la función gamma no tiene ceros en el plano complejo, pero tiene polos en enteros negativos.
Más allá de esto, y de los valores de $\zeta$ en números enteros positivos (que se derivan del análisis armónico esencialmente), tendrás que conformarte con la aproximación numérica en lugar del cálculo simbólico.
Chris señala en los comentarios que la serie $\sum n^{-s}$ sólo define $\zeta(s)$ para ${\rm Re}(s)>1$ ; obviamente no converge a la izquierda de esta por comparación con la serie armónica. La función zeta de Riemann se define como la continuación analítica de la función definida por esta serie. Es la ecuación funcional mágica que relaciona $\zeta$ en el semiplano izquierdo a sus valores en el derecho.
Como referencia, la ecuación funcional viene dada por $\xi(s)=\xi(1-s)$ , donde $\xi$ es la función zeta "completa" definida por $\xi(s)=\pi^{-s/2}\Gamma(s/2)\zeta(s)$ (a veces un factor como $s(1-s)$ se introduce para facilitar el trabajo de prueba). La explicación del misterioso "factor gamma" radica en la pesada maquinaria de la teoría algebraica de los números, que es el contenido de la tesis de Tate.
La teoría de las funciones zeta tiene definitivamente conexiones con la teoría de Fourier. Los coeficientes se pueden retorcer por caracteres, las funciones zeta se pueden adjuntar a formas modulares que a su vez se pueden definir por $q$ -series, la fórmula explícita para el crecimiento de los primos en términos de los ceros no triviales puede interpretarse como "la música de los primos", etc. No estoy seguro de la altura de la observación de que el $n^{-s}$ -se parece a una serie de Fourier en $\tau={\rm Im}(s)$ rangos en la escalera de la importancia.
Como físico, también le interesará saber que se ha observado empíricamente que los ceros obedecen a ciertas leyes estadísticas espectrales, palabras clave: "conjunto GUE", "teoría de las matrices aleatorias". Hay una buena colección de información relacionada con estas ideas aquí . Otra dirección de interés es que en la hipótesis de Riemann los ceros no triviales forman un cuasicristal unidimensional, ver aquí .
Hagen señala en los comentarios que aunque nos veamos obligados (en la franja crítica en particular) a conformarnos con la aproximación numérica, podemos de hecho probar si los ceros no triviales descubiertos tienen parte real exactamente medio. Ver esta pregunta de MSE para ver las matemáticas relevantes que hay detrás de esto.
(Siento no poder ser de mucha ayuda).