Desde $f$ es Riemann integrable, es acotada y continua en casi todas partes en $[a,b]$. También es Lebesgue integrable. Por Lusin del teorema, existe una función continua $g$ $[a,b]$ que
$$
m(\{x:f(x)\ne g(x), \:x\in[a,b]\})<\epsilon
$$
Nota: $g$ es también limitado en $[a,b]$. Entonces
\begin{align}
\left|\int_{a}^{b}f(x)\cos(mx) \, dx\right|&=\left|\int_{a}^{b}(f(x)-g(x))\cos(mx) \, dx+\int_{a}^{b}g(x)\cos(mx) \, dx\right|
\\
&=\left|\int_{\{x:f\ne g, \:x\in[a,b]\}}(f(x)-g(x))\cos(mx) \, dx+\int_{a}^{b}g(x)\cos(mx) \, dx\right|
\\
&\leqslant \epsilon M+\left|\int_{a}^{b}g(x)\cos(mx) \, dx\right|
\\
\end{align}
Por lo $\int_{a}^{b}f(x)\cos(mx) \, dx\to0$ si $\int_{a}^{b}g(x)\cos(mx) \, dx\to0$. Por lo tanto sólo nos probarlo para funcionamiento continuo.
La primera en cualquier intervalo de $[c,d]$, hay
\begin{align}
\left|\int_c^d\cos(mx)dx\right|&=\left|\dfrac1{m}\int_{mc}^{md}\cos(y)dy\right|
\\
&=\left|\dfrac1{m}\int_{mc}^{2n\pi}\cos(y)dy+\sum\limits_{k=n}^{l}\dfrac1{m}\int_{2k\pi}^{2(k+1)\pi}\cos(y)dy+\dfrac1{m}\int_{2(l+1)\pi}^{md}\cos(y)dy\right|
\\
&\leqslant\dfrac{2n\pi-mc+md-2(l+1)\pi}{m}
\\
&\leqslant\dfrac{4\pi}{m}\tag{1}
\end{align}
donde $n=\left[\dfrac{mc}{2\pi}\right]+1,l=\left[\dfrac{md}{2\pi}\right]-1$.
Deje $f$ ser una función continua en a $[a, b]$. Desde $f(x)$ es uniforme continua en el $[a,b]$, para cualquier $\epsilon>0,\space\exists \delta>0, \space \forall y_1,y_2\in [a,b], |y_1-y_2|<\delta$,$|f(y_1)-f(y_2)|<\epsilon \space$.
Deje $\mathcal{P} = \{x_{0}, x_{1}, x_{2},\ldots, x_{n}\}$ $[a, b]$ ser una partición que $\max\{|x_{k - 1}-x_{k}|\}<\delta,\: k\in[1,n]$. Hay
\begin{align}
\left|\int_a^bf(x)\cos(mx)dx-\sum\limits_{i=0}^{n}\int_{x_i}^{x_{i+1}}f(x_i)\cos(mx)dx\right|&=\left|\sum\limits_{i=0}^{n}\int_{x_i}^{x_{i+1}}(f(x)-f(x_i))\cos(mx)dx\right|
\\
&\leqslant\epsilon\int_a^b|\cos(mx)|dx
\\
&\leqslant(b-a)\epsilon\tag{2}
\end{align}
Y por $(1)$
\begin{align}
\left|\sum\limits_{i=0}^{n}\int_{x_i}^{x_{i+1}}f(x_i)\cos(mx)dx\right|&=\left|\sum\limits_{i=0}^{n}f(x_i)\int_{x_i}^{x_{i+1}}\cos(mx)dx\right|
\\
&\leqslant\dfrac{4\pi}{m}nM\tag{3}
\end{align}
donde $|f(x_i)|\leqslant M$.
De $(2),(3)$, tenemos
\begin{align}
\left|\int_a^bf(x)\cos(mx)dx\right|&\leqslant\left|\sum\limits_{i=0}^{n}\int_{x_i}^{x_{i+1}}f(x_i)\cos(mx)dx\right|+(b-a)\epsilon
\\
&\leqslant\dfrac{4\pi nM}{m}+(b-a)\epsilon
\end{align}
Y
$$
\varlimsup\limits_{m\to\infty}\left|\int_a^bf(x)\cos(mx)dx\right|\leqslant (b-a)\epsilon
$$
Desde $\epsilon$ es arbitrario, hemos
$$
\lim\limits_{m\to\infty}\int_a^bf(x)\cos(mx)dx=0
$$