El hecho es que $F_{a}\notin L^{1}({\bf{R}})$ por lo que la integral $\displaystyle\int_{\bf{R}}\cos(ax)e^{-2\pi i\xi\cdot x}dx$ no existe. Además de eso, $F_{a}\notin L^{2}({\bf{R}})$ por lo que la transformada general de Fourier tampoco existe. Así que sólo podemos hablar de la transformada de Fourier distributiva.
Para el cálculo, tenga en cuenta que $\cos(ax)=\dfrac{1}{2}(e^{iax}+e^{-iax})$ y por lo tanto para una función de prueba $\varphi\in S({\bf{R}})$ tenemos \begin{align*} \left<\widehat{\cos(ax)},\varphi\right>&=\left<\cos(ax),\widehat{\varphi}\right>\\ &=\dfrac{1}{2}\left<e^{iax},\widehat{\varphi}\right>+\dfrac{1}{2}\left<e^{-iax},\widehat{\varphi}\right>\\ &=\dfrac{1}{2}\int_{\bf{R}}e^{iax}\widehat{\varphi}(x)dx+\dfrac{1}{2}\int_{\bf{R}}e^{-iax}\widehat{\varphi}(x)dx\\ &=\dfrac{1}{2}(\widehat{\varphi})^{\vee}(a/2\pi)+\dfrac{1}{2}(\widehat{\varphi})^{\vee}(-a/2\pi)\\ &=\dfrac{1}{2}(\varphi(a/2\pi)+\varphi(-a/2\pi))\\ &=\dfrac{1}{2}\left<\delta_{a/2\pi},\varphi\right>+\left<\delta_{-a/2\pi},\varphi\right>\\ &=\left<\dfrac{1}{2}(\delta_{a/2\pi}+\delta_{-a/2\pi}),\varphi\right>, \end{align*} así que \begin{align*} \widehat{\cos(ax)}=\dfrac{1}{2}(\delta_{a/2\pi}+\delta_{-a/2\pi}) \end{align*} en el sentido de la distribución.