Recordemos la expansión: $$\begin{align}\tan nx &= \dfrac{\binom{n}{1}\tan x - \binom{n}{3}\tan^3 x + \cdots }{1-\binom{n}{2}\tan^2 x + \binom{n}{4}\tan^4 x + \cdots } \\&= \frac{\binom{n}{1}\cot^{n-1} x - \binom{n}{3}\cot^{n-3} x + \cdots }{\cot^{n} x - \binom{n}{2}\cot^{n-2} x + \binom{n}{4}\cot^{n-4} x + \cdots }\end{align}$$
Ahora, $\displaystyle \left\{\frac{k\pi}{n}\right\}_{k=1}^{n-1}$ son las raíces de la ecuación: $\displaystyle \tan nx = 0$
Así, $\displaystyle \binom{n}{1}\cot^{n-1} x - \binom{n}{3}\cot^{n-3} x + \cdots = 0$ cuando sea, $x = \dfrac{k\pi}{n}$ para $1 \le k \le n-1$ .
Así, utilizando la fórmula de Vieta podríamos escribir:
$$\begin{align*}\sum\limits_{k=1}^{n-1} \cot^2 \frac{k\pi}{n} &= \left(\sum\limits_{k=1}^{n-1} \cot \frac{k\pi}{n}\right)^2 - 2\sum\limits_{1 \le k_1 < k_2 \le n-1} \cot \frac{k_1\pi}{n}\cot \frac{k_2\pi}{n}\\&= 0 + 2\frac{\binom{n}{3}}{\binom{n}{1}}\\&= \frac{(n-1)(n-2)}{3}\end{align*}$$