(Demasiado largo para un comentario)
Tenemos
\begin{align*}
f(x)
= \sum_{k=1}^{n} \int_{0}^{\sqrt{k}} \cos x \, dx
= \int_{0}^{\infty} \left( \sum_{k=1}^{n} \mathbf{1}_{\{ x < \sqrt{k}\}} \right) \cos x \, dx.
\end{align*}
Observe que \sum_{k=1}^{n} \mathbf{1}_{\{ x < \sqrt{k}\}} = (n - \lfloor x^2 \rfloor)_+, donde a_+ = \max\{a, 0\} denota la parte positiva de a. Así
\begin{align*}
f(x)
&= \int_{0}^{\sqrt{n}} (n - \lfloor x^2 \rfloor) \cos x \, dx \\
&= \int_{0}^{\sqrt{n}} \left(n - x^2 + \frac{1}{2} \right) \cos x \, dx + \int_{0}^{\sqrt{n}} \left(x^2 - \lfloor x^2 \rfloor - \frac{1}{2} \right) \cos x \, dx
\end{align*}
La primera integral es fácil evaluar:
\int_{0}^{\sqrt{n}} \left(n - x^2 + \frac{1}{2} \right) \cos x \, dx
= -2\sqrt{n}\cos\sqrt{n} + \frac{5}{2}\sin\sqrt{n}.
Para evaluar la segunda integral, sustituimos x^2 \mapsto x escribir
\begin{align*}
\int_{0}^{\sqrt{n}} \left(x^2 - \lfloor x^2 \rfloor - \frac{1}{2} \right) \cos x \, dx
&= \sum_{k=0}^{n-1} \int_{0}^{1} \left(x - \frac{1}{2}\right) \frac{\cos\sqrt{x+k}}{2\sqrt{x+k}} \, dx \\
&= \sum_{k=0}^{n-1} \int_{0}^{\frac{1}{2}} x \left( \frac{\cos\sqrt{k+\frac{1}{2}+x}}{2\sqrt{k+\frac{1}{2}+x}} - \frac{\cos\sqrt{k+\frac{1}{2}-x}}{2\sqrt{k+\frac{1}{2}-x}} \right) \, dx
\end{align*}
Aunque no puedo demostrar en este punto, la evidencia numérica sugiere que esta integral converge como n\to\infty. En este supuesto, se sigue que
Conjetura. c = \lim_{n\to\infty} \int_{0}^{\sqrt{n}} \left(x^2 - \lfloor x^2 \rfloor - \frac{1}{2} \right) \cos x \, dx converge. En consecuencia,
f(n) = -2\sqrt{n}\cos\sqrt{n} + \frac{5}{2}\sin\sqrt{n} + c + o(1)
De hecho, la siguiente figura es la representación gráfica de la diferencia de f(n) - \left( -2\sqrt{n}\cos\sqrt{n} + \frac{5}{2}\sin\sqrt{n} \right) para n \leq 10^4.
![Graph of the differnce]()