Diferenciamos ambos lados y reescribimos nuestra integral por partes: $$\begin{align*}f'(x)&=\cos x-\frac{d}{dx}\int_0^x (x-u)f(u)du\\&=\cos x-\frac{d}{dx}\left(\int_0^x\int_0^u f(v)dvdu\right)\\&=\cos x-\int_0^x f(u)du\end{align*}$$ Vuelve a diferenciar para rendir: $$f''(x)=-\sin x-f(x)\\y''+y=-\sin x\\\text{ as we let }y=f(x)$$ Esto se puede resolver de forma trivial. Primero abordamos la ecuación homogénea complementaria $y''+y=0$ ; se supone una solución de la forma $y=e^{\lambda x}$ por lo que tenemos: $$\lambda^2 e^{\lambda x}+e^{\lambda x}=0\\e^{\lambda x}\left(\lambda^2+1\right)=0\implies\lambda=\pm i$$ ... lo que significa que hemos encontrado la solución complementaria $y_c=c_1e^{-ix}+c_2e^{ix}$ o $y_c=c_1\cos x+c_2\sin x$ a nuestra ecuación.
Para terminar, tendremos que reconocer que $-\sin x$ es una solución de nuestra ecuación complementaria; intentemos el método de los coeficientes indeterminados con una solución $y=a_1x\cos x+a_2x\sin x$ (nótese el poder de $x$ para que nuestro ansatz sea linealmente independiente de nuestra solución general) por lo que $y''=-2a_1\sin x-a_1x\cos x+2a_2\cos x-a_2x\sin x$ . $$-2a_1\sin x-a_1x\cos x+2a_2\cos x-a_2x\sin x+a_1x\cos x+a_2x\sin x=-\sin x\\(-a_1 x+2a_2+a_1x)\cos x+(-2a_1-a_2x+a_2x)\sin x=-\sin x\\2a_2\cos x-2a_1\sin x=-\sin x$$ ... igualando los coeficientes se obtiene: $$2a_2=0\implies a_2=0\\2a_1=1\implies a_1=\frac12$$ Así que hemos encontrado una solución particular $y_p=\frac12x\cos x$ .
Así, nuestra solución general es $y=y_c+y_p=c_1\cos x+c_2\sin x+\frac12x\cos x$