Pregunta en el título, mi progreso:
dejar $z = \cos(x) + i\sin(x)$
entonces $1 + \cos(x) + \cos(2x) +\dots + \cos(nx) = Re(1 + z + z^2 +\dots + z^n) = Re\left (\dfrac{1-z^{n+1}}{1-z} \right)$
por series geométricas;
multiplicando $\dfrac{1-z^{n+1}}{1-z}$ por $\overline{1-z}$ obtenemos $1 + \cos(x) + \cos(2x) +\dots + \cos(nx) = Re \left ( \dfrac{(1-z^{n+1})(\overline{1-z})}{|1-z|^2} \right )$
pero no estoy seguro de cómo proceder a partir de aquí.
edit: esto es para un curso de análisis complejo, así que agradecería una pista usando el análisis complejo sin usar la función exponencial