Sin que la sustitución, podemos notar que
$$g(x) = \begin{cases} -x^2\sin \frac{1}{x} &, x \neq 0 \\ \quad 0 &, x = 0\end{cases}$$
es diferenciable en todas partes, con $g'(0) = 0$ y
$$g'(x) = \cos \frac{1}{x} -2x\sin\frac{1}{x}$$
para $x\neq 0$. Así
$$\int_0^h \cos \frac{1}{\xi}\,d\xi = \int_0^h g'(\xi) + 2\xi\sin \frac{1}{\xi}\,d\xi = g(h) + 2\int_0^h \xi\sin \frac{1}{\xi}\,d\xi.$$
Ahora es fácil ver que
$$\frac{1}{h} \int_0^h \cos \frac{1}{\xi}\,d\xi = \frac{g(h)}{h} + \frac{2}{h}\int_0^h \xi\sin \frac{1}{\xi}\,d\xi$$
tiende a $0$ $h\to 0$ por el valor medio teorema de integrales, ya que el integrando de la restante integral está delimitado por $\lvert h\rvert$ en valor absoluto.
La sustitución de $u = \frac{1}{\xi}$ conduce a
$$\frac{1}{h} \int_{1/h}^\infty \frac{\cos u}{u^2}\,du,$$
y podemos llegar más lejos con una integración por partes:
$$\begin{align}
\int_a^b \frac{\cos u}{u^2}\,du &= \left[\frac{\sin u}{u^2}\right]_a^b + 2\int_a^b \frac{\sin u}{u^3}\,du\\
&= \frac{\sin b}{b^2} - \frac{\sin a}{a^2} + 2\int_a^b \frac{\sin u}{u^3}\,du.\tag{1}
\end{align}$$
Podemos estimar que el resto de integral
$$\left\lvert 2\int_a^b \frac{\sin u}{u^3}\,du\right\rvert \leqslant 2\int_a^\infty \frac{du}{u^3} = \frac{1}{a^2}.$$
Así nos encontramos con
$$\left\lvert \frac{1}{h} \int_0^h \cos \frac{1}{\xi} \,d\xi\right\rvert \leqslant \frac{1}{h}\left(\frac{2}{1/h^2} + \frac{1}{1/h^2}\right) \leqslant 3h$$
para $h > 0$. El caso de $h < 0$ es simétrico, por lo que vemos que la integral de la $F$ $f$ es diferenciable en a$0$$F'(0) = 0$.