En primer lugar, sabemos que
$$ \cos x = \frac{e^{ix}+e^{-ix}}{2}$$
Ahora suponga $$ x = \frac{2\pi ji}{M} $$
Podemos reescribir la expresión dada como
$$ \sum_{j=1}^{M/2}\sum_{k=1}^{M-1}\cos(\frac{2\pi kj}{M}) = \sum_{j=1}^{M/2}\sum_{k=1}^{M-1} \frac{e^{xk}+e^{-xk}}{2}$$
Primero vamos a tratar de encontrar un valor de
$$ \sum_{k=0}^{M-1} \frac{e^{xk}+e^{-xk}}{2} $$
Observe que, en su expresión $k$ es a partir de $1$, pero es a partir de $zero$ ahora.
$$ \sum_{k=0}^{M-1} \frac{e^{xk}+e^{-xk}}{2} = \frac{1}{2}(\frac{e^{xM}-1}{e^x-1} - \frac{e^{-xM}-1}{e^x-1})$$
Si con poner el valor de $ x=\frac{2\pi ji}{M} $ $ e^{xM} $
llegamos $$ e^{xM} = e^{\frac{2\pi ji}{M}M} = e^{2\pi ji} = 1$$
Del mismo modo $$ e^{-xM} = 1 $$
Y, por tanto, $$ \sum_{k=0}^{M-1}\cos(\frac{2\pi kj}{M}) = \sum_{k=0}^{M-1} \frac{e^{xk}+e^{-xk}}{2} = 0 = 1 + \sum_{k=1}^{M-1}\cos(\frac{2\pi kj}{M})$$
$$ \Rightarrow \sum_{k=1}^{M-1}\cos(\frac{2\pi kj}{M}) = -1 $$
Por lo tanto,
$$ \sum_{j=1}^{M/2}\sum_{k=1}^{M-1}\cos(\frac{2\pi kj}{M}) = \sum_{j=1}^{M/2}-1 = \frac{-M}{2}$$