He aquí una cuidada método de de Bruijn del libro*. $\DeclareMathOperator{rre}{Re}$
Deje $z$ ser un complejo parámetro con $\rre z > 0$, $z \neq 1$. Por telescópica tenemos
$$
\sum_{k=1}^{n} k^{z} = \frac{n^{1-z}}{1-z} + \sum_{k=1}^{n} \left(k^{z} - \frac{k^{1-z}}{1-z} + \frac{(k-1)^{1-z}}{1-z}\right).
$$
La suma de la derecha converge como $n \to \infty$ desde
$$
k^{z} - \frac{k^{1-z}}{1-z} + \frac{(k-1)^{1-z}}{1-z} \sim - \frac{z}{2} k^{-1-z}
$$
como $k \to \infty$, así que podemos escribir
$$
\sum_{k=1}^{n} k^{z} = \frac{n^{1-z}}{1-z} + \sum_{k=1}^{\infty} \left(k^{z} - \frac{k^{1-z}}{1-z} + \frac{(k-1)^{1-z}}{1-z}\right) + \epsilon_n(z), \etiqueta{1}
$$
donde $\epsilon_n(z) \to 0$ $n \to \infty$ fijos $z$. Vamos a mostrar al final de la respuesta que la suma
$$
S(z) := \sum_{k=1}^{\infty} \left(k^{z} - \frac{k^{1-z}}{1-z} + \frac{(k-1)^{1-z}}{1-z}\right)
$$
es analítica en la región $\rre z > 0$, $z \neq 1$. Tomando $\rre z > 1$ y el envío de $n \to \infty$ $(1)$ nos encontramos con que
$$
S(z) = \sum_{k=1}^{\infty} k^{z} = \zeta(z),
$$
así que por la continuación analítica también debemos tener $S(z) = \zeta(z)$ todos los $z$ con $\rre z > 0$, $z \neq 1$. La ecuación de $(1)$ por lo tanto puede ser escrito
$$
\sum_{k=1}^{n} k^{z} = \frac{n^{1-z}}{1-z} + \zeta(z) + \epsilon_n(z). \etiqueta{2}
$$
Tomando $z = 1/2$ $(2)$ rendimientos
$$
\sum_{k=1}^{n} \frac{1}{\sqrt{k}} = 2\sqrt{n} + \zeta(1/2) + \epsilon_n(1/2),
$$
así que podemos concluir que
$$
\lim_{n \to \infty} 2\sqrt{n} - \sum_{k=1}^{n} \frac{1}{\sqrt{k}} = -\zeta(1/2).
$$
Ahora vamos a demostrar que
$$
S(z) = \sum_{k=1}^{\infty} \left(k^{z} - \frac{k^{1-z}}{1-z} + \frac{(k-1)^{1-z}}{1-z}\right)
$$
es analítica en la región $\rre z > 0$, $z \neq 1$. Basta para demostrar que la suma converge uniformemente con respecto a $z$ mientras $z$ permanece en un subconjunto compacto de $\rre z > 0$, $z \neq 1$. De hecho, las secuencias de la analítica de funciones que converge uniformemente en compactos de subconjuntos de un dominio convergen a una analítica de la función en ese dominio.
Para empezar vamos a escribir
$$
k^{z} - \frac{k^{1-z}}{1-z} + \frac{(k-1)^{1-z}}{1-z} = \frac{k^{1-z}}{1-z} \left[\left(1-\frac{1}{k}\right)^{1-z} - 1 + \frac{1-z}{k}\right]. \etiqueta{3}
$$
El término entre corchetes es otro que la función de $f(w) := (1-w)^{1-z}$ menos los dos primeros términos de su Maclaruin de la serie y se evalúan en $w = 1/k$. Por lo tanto, esperamos un límite como
$$
\left|f(w) - \sum_{j=0}^{1} \frac{f^{(j)}(0)}{j!}w^j\right| \leq Cw^2 = \frac{C}{k^2},
$$
y sólo tenemos que mostrar que $C$ puede ser elegido de forma independiente de $z$.
Si la serie de Maclaurin para la función $f$ tiene radio de convergencia $R > 0$ (después de algo de trabajo) se sigue de Cauchy de la integral teorema que
$$
f(w) - \sum_{j=0}^{N} \frac{f^{(j)}(0)}{j!} w^j = \frac{w^{N+1}}{2\pi i} \int_C \frac{f(\zeta)}{\zeta^{N+1}(\zeta - w)}\,d\zeta,
$$
donde $C$ es el círculo de $|\zeta| = r < R$$|w| < r$. Así que, teniendo $f(w) = (1-w)^{1-z}$, $N = 1$, $w = 1/k$, y $r = 1/2$ tenemos, por $k \geq 3$,
$$
\left(1-\frac{1}{k}\right)^{1-z} - 1 + \frac{1-z}{k} = \frac{1}{2\pi i k^2} \int_{|\zeta| = 1/2} \frac{(1-\zeta)^{1-z}}{\zeta^2 (\zeta - 1/k)}\,d\zeta.
$$
Ahora suponga $\rre z \geq \delta$ $|1-z| \geq \delta$ algunos $0 < \delta < 1$. Tomando el módulo de la ecuación anterior obtenemos
$$
\begin{align}
\left|\left(1-\frac{1}{k}\right)^{1-z} - 1 + \frac{1-z}{k}\right| &= \left|\frac{1}{2\pi i k^2} \int_{|\zeta| = 1/2} \frac{(1-\zeta)^{1-z}}{\zeta^2 (\zeta - 1/k)}\,d\zeta\right| \\
&\leq \frac{1}{2\pi k^2} \int_{|\zeta| = 1/2} \frac{|1-\zeta|^{1-\rre z}}{|\zeta|^2 |\zeta - 1/k|}\,|d\zeta| \\
&\leq \frac{1}{2\pi k^2} \int_{|\zeta| = 1/2} \frac{2}{(1/2)^2 (1/2 - 1/3)}\,|d\zeta| \\
&= \frac{2}{2\pi (1/2)^2 (1/2-1/3)k^2} \int_{|\zeta| = 1/2} |d\zeta| \\
&= \frac{2 \pi}{2\pi (1/2)^2 (1/2-1/3)k^2} \\
&= \frac{24}{k^2}.
\end{align}
$$
La combinación de este con $(3)$ rendimientos
$$
\begin{align}
\left|k^{-z} - \frac{k^{1-z}}{1-z} + \frac{(k-1)^{1-z}}{1-z}\right| &= \frac{k^{1-\rre z}}{|1-z|} \left|\left(1-\frac{1}{k}\right)^{1-z} - 1 + \frac{1-z}{k}\right| \\
&\leq \frac{k^{1-\delta}}{\delta} \left|\left(1-\frac{1}{k}\right)^{1-z} - 1 + \frac{1-z}{k}\right| \\
&\leq \frac{24}{\delta} k^{-1-\delta}
\end{align}
$$
para $k \geq 3$, que es lo que queríamos demostrar. De ello se sigue que la serie
$$
\sum_{k=1}^{\infty} \left(k^{z} - \frac{k^{1-z}}{1-z} + \frac{(k-1)^{1-z}}{1-z}\right)
$$
converge uniformemente en la región de $\{z \in \mathbb C : \rre z \geq \delta \text{ and } |1-z| \geq \delta\}$ por cada $\delta > 0$ y que, por ende, $S(z)$ es analítica en la región $\rre z > 0$, $z \neq 1$.
* N. G. de Bruijn, Asintótica de los Métodos de Análisis, la sección 3.5.