Descargo de responsabilidad: Esto está lejos de ser una respuesta completa. Contiene
A) Una prueba de convergencia que me pareció necesario establecer al principio (no la consideré tan evidente) proporcionando como resultado secundario, una comprensión del segundo término de la parte RHS:
$$\pi \bigg( \text{ceil}\left(\frac ba+\frac 12\right) -1 \bigg) \tag{1}$$
(en la que hemos asumido $a>0$ WLOG).
B) El uso de la fórmula integral
$$\tan^{-1}\left(\tfrac{u}{t}\right)=\int_0^{\infty}\dfrac{e^{-xt}}{x}\sin(ux)dx\tag{2}$$
que parece prometedor, pero sigue con el estatus de "trabajo en curso".
Parte A:
Dejemos que
$$t_n:=\tan^{-1} (an+b)$$
Agrupando los términos simétricos, se obtiene
$$t_{-n}+t_n= \tan^{-1}\dfrac{2b}{1-b^2+a^2n^2}+R_n\tag{3} $$
debido a la relación (que se puede entender con la siguiente figura)
$$\tan^{-1}A+\tan^{-1}B=\tan^{-1}\dfrac{A+B}{1-AB}+R\tag{4}$$
donde $R=-\pi,0,\pi$ según la región en la que $(A,B)$ se encuentra.
Fig. 1: Representación gráfica de $R=\tan^{-1}A+\tan^{-1}B-\tan^{-1}\frac{A+B}{1-AB}$ , con "mesetas" para $R=-\pi,0,\pi$ . Así lo establecen diferentes referencias como este .
Este "residuo" $R_n$ es $0$ si
-
si $A$ y $B$ tienen el mismo signo con $AB<1$ o
-
si $A$ y $B$ no tienen el mismo signo ; estamos en este caso aquí, cuando es $n$ lo suficientemente grande (como se trata de una prueba de convergencia, podemos dejar de lado algunos términos sin perjuicio).
Por lo demás, dijo, $R_n$ se hace cero en (3) cuando $n$ es tal que:
$$(an+b)(-an+b)<0 \ \iff \ b^2-n^2a^2<0$$
lo que equivale a decir
$$n\ge n_0 \ \text{where} \ n_0:=\operatorname{ceil} \big|\tfrac{b}{a}\big|\tag{5}$$
De este modo, queda por sumar una serie equivalente a la serie de Riemann $\sum 1/n^2$ por lo que es convergente.
Observación: Obsérvese la estrecha relación entre (5) y (1): (1) da cuenta de los términos "excepcionales" $t_1+t_{-1}$ , $t_2+t_{-2},...$ cada uno contribuyendo con un $R_1=R_2=... = \pi$ .
Observación: Hay un término excepcional $t_0=\tan^{-1}(b)$ que habrá que tener en cuenta más adelante...
Parte B: Para "acercarse" a la expresión
$$\tan^{-1} \left( \tan\frac{b\pi}{a} \cdot \coth \frac{\pi}{a} \right),\tag{6}$$
utilicemos la fórmula (2) con $t=1$ y $u=an+b$ : dar:
$$t_n:=\tan^{-1}(an+b)=\int_0^{\infty}\dfrac{e^{-x}}{x}\sin((an+b)x)dx$$
de la cual
$$I_n:=t_n+t_{-n}=2 \int_0^{\infty}\dfrac{e^{-x}}{x}\sin(bx)\cos(2anx)dx$$
si no se expresa con la función de la parte real $\Re$ :
$$I_n=2 \int_0^{\infty}\dfrac{e^{-x}}{x}\sin(bx)\Re (e^{2iax})^n dx\tag{7}$$
Aparte de los términos excepcionales que hemos considerado antes, tenemos que calcular la siguiente suma (donde $n_0$ se ha definido en (5)):
$$S:=\sum_{n=n_0}^{\infty}I_n=2 \int_0^{\infty}\dfrac{e^{-x}}{x}\sin(bx)\Re \left(e^{2ian_0x}\dfrac{1}{1-e^{2iax}}\right)dx\tag{8}$$
$$S= \int_0^{\infty}\dfrac{e^{-x}}{x}\sin(bx) \left(\dfrac{\sin((2n_0-1)ax)}{\sin(ax)}\right)dx\tag{9}$$
Queda por hacer coincidir las expresiones (9) y (6)...
Tenga en cuenta que la fracción entre paréntesis en (9) puede expresarse como $U_{2n_0-2}(\cos(ax))$ (polinomio de Chebyshev de segundo tipo), por lo que no necesita un cuidado especial en los polos (extraíbles) $x=\tfrac{k\pi}{a}$ .