Vamos a ver:
$f(z)$ tiene tres tipos de polos $z_0=0$ , $z_{1,n}=n \pi/2$ y $z_{2,n}=\lambda_n$
Resulta que los polos $z_{1,n}$ son removibles por lo que el correspondiente residuo de rendimiento cero (¿por qué? debido a $f(z)$ es exactamente diseñado para ello). Ahora vamos a integrar a $f(z)$ alrededor de un contorno que consta de dos líneas justo por encima y por debajo del eje real (conectado a infinito), con un sentido de la orientación, que es en sentido horario. Debido a que el residuo teorema tenemos
$$
\cualquier f(z)dz = -2\pi i [\text{res}(z_0)+\sum_{n=-\infty}^{\infty}\text{res}(z_{2,n})]
$$
Pero, por otro lado, debido a $tan(z)$ es una limitada función de la distancia desde el eje real también podemos cerrar nuestro contorno de integración mediante la adición de grandes semicírculos de la que ahora está desconectada de las líneas. Porque no habrá ahora polos cerrado durante este procedimiento, podemos ver que $\oint f(z)dz=0$ y por lo tanto
$$
-\text{res}(z_0)=\sum_{n=-\infty}^{\infty}'\text{res}(z_{2,n}) \quad (1)
$$
Aquí $\sum'$ significa que omitimos $0$ bajo el signo de suma.
El residuo de a $0$ está dado por $\text{res}(z_0)=\frac{1}{5}$, lo que sigue a partir de un sencillo Laurent de expansión.
La parte difícil de saber es calcular los residuos en $\lambda_n$.
En primer lugar, porque los polos son simples, podemos usar la
$$
\text{res}(\lambda_n)=\frac{g(\lambda_n)}{f'(\lambda_n)} \quad (2)
$$
con $g(z)=\frac{z^2\tan(z)+3(z- \tan(z))}{z^3}$ $f'(z)=1-\sec^2(z)=-\tan^2(z)$
el uso de $\tan(\lambda_n)=\lambda_n$ podemos reescribir (2)
como
$$
\text{res}(\lambda_n)=-\frac{\lambda_n^2 \lambda_n+ 3(0)}{\lambda_n^3\lambda_n^2}=-\frac{1}{\lambda_n^2}
$$
Poner esto en (1) podemos observar que
$$
-\frac{1}{5}=-\sum_{n=-\infty}^{\infty}'\frac{1}{\lambda_n^2}
$$
ahora observamos que la ecuación de $\tan(x)=x$ es anti-simétrica en $x\rightarrow -x$ y todos los ceros vienen por pares,$\pm\lambda_n$. Esto nos permite reescribir
$$
\frac{1}{10}=\sum_{n=1}^{\infty}\frac{1}{\lambda_n^2}
$$
Q. E. D