(Demasiado largo para un comentario)
Tenemos
\begin{align*}
f(x)
= \sum_{k=1}^{n} \int_{0}^{\sqrt{k}} \cos x \, dx
= \int_{0}^{\infty} \left( \sum_{k=1}^{n} \mathbf{1}_{\{ x < \sqrt{k}\}} \right) \cos x \, dx.
\end{align*}
Observe que $\sum_{k=1}^{n} \mathbf{1}_{\{ x < \sqrt{k}\}} = (n - \lfloor x^2 \rfloor)_+$, donde $a_+ = \max\{a, 0\}$ denota la parte positiva de $a$. Así
\begin{align*}
f(x)
&= \int_{0}^{\sqrt{n}} (n - \lfloor x^2 \rfloor) \cos x \, dx \\
&= \int_{0}^{\sqrt{n}} \left(n - x^2 + \frac{1}{2} \right) \cos x \, dx + \int_{0}^{\sqrt{n}} \left(x^2 - \lfloor x^2 \rfloor - \frac{1}{2} \right) \cos x \, dx
\end{align*}
La primera integral es fácil evaluar:
$$ \int_{0}^{\sqrt{n}} \left(n - x^2 + \frac{1}{2} \right) \cos x \, dx
= -2\sqrt{n}\cos\sqrt{n} + \frac{5}{2}\sin\sqrt{n}. $$
Para evaluar la segunda integral, sustituimos $x^2 \mapsto x$ escribir
\begin{align*}
\int_{0}^{\sqrt{n}} \left(x^2 - \lfloor x^2 \rfloor - \frac{1}{2} \right) \cos x \, dx
&= \sum_{k=0}^{n-1} \int_{0}^{1} \left(x - \frac{1}{2}\right) \frac{\cos\sqrt{x+k}}{2\sqrt{x+k}} \, dx \\
&= \sum_{k=0}^{n-1} \int_{0}^{\frac{1}{2}} x \left( \frac{\cos\sqrt{k+\frac{1}{2}+x}}{2\sqrt{k+\frac{1}{2}+x}} - \frac{\cos\sqrt{k+\frac{1}{2}-x}}{2\sqrt{k+\frac{1}{2}-x}} \right) \, dx
\end{align*}
Aunque no puedo demostrar en este punto, la evidencia numérica sugiere que esta integral converge como $n\to\infty$. En este supuesto, se sigue que
Conjetura. $c = \lim_{n\to\infty} \int_{0}^{\sqrt{n}} \left(x^2 - \lfloor x^2 \rfloor - \frac{1}{2} \right) \cos x \, dx $ converge. En consecuencia,
$$ f(n) = -2\sqrt{n}\cos\sqrt{n} + \frac{5}{2}\sin\sqrt{n} + c + o(1) $$
De hecho, la siguiente figura es la representación gráfica de la diferencia de $f(n) - \left( -2\sqrt{n}\cos\sqrt{n} + \frac{5}{2}\sin\sqrt{n} \right)$ para $n \leq 10^4$.