Dejar $x=1/t$ lo consigues: $$\int_{0}^{1/k^2} \left\{\frac1t\right\}dt = \int_{k^2}^\infty \frac{1}{x^2}\{x\}dx = \sum_{i=k^2}^\infty \int_{0}^1 \frac u{(u+i)^2} du$$
y:
$$\begin{align} \int_{0}^1 \frac u{(u+i)^2} du &=\int_{0}^1 \left(\frac{1}{u+i}-\frac{i}{(u+i)^2}\right)dx\\ &=\log(i+1)-\log(i) +\frac{i}{i+1}-\frac{i}{i}\\&=\log\left(1+\frac{1}{i}\right) -\frac{1}{i+1} \end{align}$$
Así que $$\sum_{i=k^2}^\infty \left(\log\left(1+\frac{1}{i}\right)-\frac{1}{i+1}\right)$$
Tenga en cuenta que: $$\sum_{i=1}^\infty \left(\log\left(1+\frac{1}{i}\right)-\frac{1}{i+1}\right)=-\gamma+1$$
así que $$\sum_{i=k^2}^\infty \left(\log\left(1+\frac{1}{i}\right)-\frac{1}{i+1}\right) = -\gamma+1-\left(\log(k^2) -( H_{k^2}-1)\right) =-\gamma-\log(k^2)+H_{k^2}$$ Entonces $$\sum_{k=1}^\infty \left(H_{k^2}-\gamma-\log(k^2)\right)$$
es la integral que quieres.
No sé si se puede hacer algo mejor que eso.
Desde el primera fórmula aquí :
$$\gamma = H_n -\log(n)-\frac{1}{2n}+O\left(\frac{1}{n^2}\right)$$ vemos que: $$H_{k^2}-\gamma-\log(k^2) = \frac{1}{2k^2}+O\left(\frac{1}{k^4}\right)$$ por lo que sabemos que la serie converge.
Si tomamos:
$$\begin{align}\sum_{k=1}^N \left(H_{k^2}-\gamma-\log(k^2)\right) &= \left(\sum_{k=1}^N\sum_{j=1}^{k^2}\frac{1}{j}\right) -N\gamma - 2\log(N!)\\ &=\sum_{j=1}^{N^2}\frac{N+1-\lceil\sqrt{j}\rceil}{j}-N\gamma -2\log(N!)\\ &= (N+1){H_{N^2}} -N\gamma -2\log(N!) - \sum_{j=1}^{N^2} \frac{\lceil\sqrt {j}\rceil}{j} \end{align} $$
Tenemos $$\begin{align}(N+1)H_{N^2}-N\gamma &= (N+1)\left(H_{N^2}-\gamma\right)+\gamma \\ &= \gamma + (N+1)\left(\log(N^2) +\frac{1}{2N^2}-\frac{1}{12N^4}+\dots\right)\\ &=\gamma +2(N+1)\log(N) +O\left(\frac 1N\right) \end{align} $$
Y $$2\log(N!) = (2N+1)\log N - 2N + \log(2\pi) + O\left(\frac{1}N\right)$$
Así que $$(N+1){H_{N^2}} -N\gamma -2\log(N!) =\gamma+2N+\log N - \log(2\pi) +O\left(\frac{1}{N}\right)$$ Si puede obtener una buena estimación de $\sum_{j=1}^K \frac{\lceil\sqrt {j}\rceil}{j}$ (dentro de $o(1)$ ) se podría calcular el límite aquí, pero parece difícil.
Como la suma completa es convergente, sabemos que $\sum_{j=1}^{N^2} \frac{\lceil\sqrt {j}\rceil}{j}=2N+\log N + O(1)$ pero que $O(1)$ oculta el valor final.