Usted puede hacerlo por integración por partes, pero usted tiene que comenzar en un poco gracioso dirección a la parada de la final de la integral de la cancelación con el original:
$$ I = \int_0^t 1 \cdot \cos{x}\cos{(t-x)} \, dx = [x\cos{x}\cos{(t-x)}]_0^t \int_0^t x(-\sin{x}\cos{(t-x)}+\cos{x}\sin{(t-x)}) \, dx \\
t = \cos{t} + \int_0^t x(\sin{x}\cos{(t-x)}-\cos{x}\sin{(t-x)}) \, dx, $$
dar algo que se parece a uno de los términos. Ahora integrar el primer término de la integral por partes,
$$ \int_0^t x\sin{x}\cdot \cos{(t-x)} \, dx = [-x\sin{x}\sin{(t-x)}]_0^t + \int_0^t (x\cos{x}-\sin{x}) \sin{(t-x)} \, dx. $$
El primer término en el resto de la integral cancela con el segundo término de la integral a partir de la primera integración por partes, por lo que
$$ \int_0^t \cos{x}\cos{(t-x)} \, dx = t\cos{t} - \int_0^t \sin{x}\sin{(t-x)} \, dx. $$
Para lidiar con el resto de la integral integramos por partes de nuevo:
$$ - \int_0^t \sin{x}\sin{(t-x)} \, dx = [\cos{x}\sin{(t-x)}]_0^t\int_0^t \cos{x}\cos{(t-x)} \, dx \\
= \sin{t}-I, $$
así
$$ I = t\cos{t}+\sin{t}-I, $$
o
$$ I = \frac{1}{2}(t\cos{t}+\sin{t}), $$
como era de esperar.
No era en absoluto evidente que esto iba a funcionar. En general,
$$ \int fg' \, dx = xfg' - \int x(f'g'+fg") \, dx \\
= x(fg' - f'g) + \int [(xf"+f')g-xfg"] \, dx \\
= x(fg'-f'g) + fg-\int fg' \, dx + \int x(f"g-fg") \, dx, $$
así
$$ \int fg' \, dx = \frac{1}{2}(x(fg'-f'g)+fg)+\frac{1}{2}\int x(f''g-fg'') \, dx, $$
y lo que ocurre es que en este caso la integral de la derecha desaparece (como para cualquiera de las dos soluciones de una ecuación diferencial de la forma $y''+q(x)y=0$, ya que el $f''g-fg''$ es la derivada de la Wronskian, y este se desvanece, puesto que el coeficiente de $y'$ es cero).