La respuesta es mucho más complicada que $\lim_{x \to 0} \frac{\sin(x)}{x}$ .
La idea es que la serie $\sum_{n=1}^\infty \frac{1}{n^z}$ es convergente cuando $Re(z) >1$ y esto funciona también para los números complejos.
El límite es una función agradable (analítica) y puede extenderse de forma única a una función agradable $\zeta$ . Esto significa que
$$\zeta(z)=\sum_{n=1}^\infty \frac{1}{n^z} \,;\, Re(z) >1 \,.$$
Ahora, cuando $z=-1$ el lado derecho NO es convergente, aún así $\zeta(-1)=\frac{-1}{12}$ . Desde $\zeta$ es la ÚNICA manera de ampliar $\sum_{n=1}^\infty \frac{1}{n^z}$ a $z=-1$ significa que, en cierto sentido
$$\sum_{n=1}^\infty \frac{1}{n^{-1}} =-\frac{1}{12}$$
y esto es exactamente lo que significa. Nótese que, para que esto tenga sentido, en el LHS no tenemos convergencia de series, tenemos un tipo de convergencia mucho más sutil: en realidad pedimos que la función $\sum_{n=1}^\infty \frac{1}{n^z}$ es diferenciable como función en $z$ y hacer $z \to -1$ ...
En cierto sentido, el fenómeno se aproxima a lo siguiente:
$$\sum_{n=0}^\infty x^n =\frac{1}{1-x} \,;\, |x| <1 .$$
Ahora bien, la LHS no es convergente para $x=2$ pero la función RHS tiene sentido en $x=2$ . Se podría decir que esto significa que en cierto sentido $\sum_{n=0}^\infty 2^n =-1$ .
En cualquier caso, debido a la analiticidad de la función zeta de Riemann, la afirmación sobre $\zeta(-1)$ es en realidad mucho más sutil y verdadera a un nivel más formal que esta afirmación geométrica...