Usted no ha seguido este correctamente pero cambiando a coordenadas polares.
Puesto que el integrando es no negativa en la que podemos aplicar del teorema de Tonelli y evaluar como integrales iteradas en cualquier orden, aunque la integral puede ser infinito. El cambio a coordenadas polares, esto se convierte en
$$\int_{-\pi/2}^{\pi/2} \frac{d \theta}{(\cos \theta)^a}\int_0^\infty \frac{dr}{r^{a-1}(1 + r^2)^b}.$$
Desde
$$\int_{0}^{\pi/2} \frac{d \theta}{(\cos \theta)^a} = \int_{-\pi/2}^{0} \frac{d \theta}{(\cos \theta)^a} = \int_{0}^{\pi/2} \frac{d \theta}{(\sin \theta)^a}, $$
y $\sin \theta \sim \theta$$ \theta \to 0$, $\theta-$integral converge si y sólo si $a <1$.
Nota, por ejemplo, que el $\displaystyle\int_0^{\pi/2} \frac{ d\theta}{\sqrt{\theta}} = 2 \sqrt{\pi/2}$ es convergente.
Para el $r-$integral considerar que el integrando es $\sim r ^{1-a}$ $r \to 0$ $\sim r^{1-a - 2b}$ $r \to \infty$ a determinar las condiciones para la convergencia/divergencia.