Una observación crucial es que la sustitución de $x_n=a_n-2$ trae el dado de la recurrencia de la relación familiar, es decir,
$$ a_{n+1} = \frac{a_n^2-1}{2a_n} $$
que se asocia con la duplicación de la fórmula para la función cotangente. En particular, $a_0=-\cot\theta$ implica $a_n=-\cot(2^n\theta)$$x_n=-2-\cot(2^n\theta)$. Desde $a_0=\cot\frac{\pi}{24}$ hemos
$$ x_n = -2+\cot\left(\frac{\pi\cdot2^n}{24}\right) $$
y nuestra secuencia mantiene oscilando entre los $-2-\frac{1}{\sqrt{3}}$$-2+\frac{1}{\sqrt{3}}$$x_3$.
De todos modos, para cualquier $x_0\in\mathbb{R}$ la secuencia dada nunca es convergente, ya que, como se señaló en los comentarios, es el método de Newton aplicado a un polinomio cuadrático con una negativa discriminante ($x^2+4x+5$).