Lo mejor que puedo hacer es reducir la expresión de la ILT a una integral real. Basándome en tu diagrama, obtengo la siguiente expresión para la integral de contorno sobre el contorno de Bromwich:
$$\int_{c-i \infty}^{c+ i \infty} ds \, \frac{e^{s t}}{s^{3/2} \sqrt{1+ a b \frac{\tanh{\sqrt{a s}}}{\sqrt{a s}}}} + e^{i \pi} \int_{\epsilon}^R dx \, \frac{e^{-x t}}{e^{i 3 \pi/2} x^{3/2} \sqrt{1+ a b \frac{\tan{\sqrt{a x}}}{\sqrt{a x}}}} \\ + e^{-i \pi} \int_R^{\epsilon} dx \, \frac{e^{-x t}}{e^{-i 3 \pi/2} x^{3/2} \sqrt{1+ a b \frac{\tan{\sqrt{a x}}}{\sqrt{a x}}}} + i \epsilon^{-1/2} \int_{\pi}^{-\pi} d\phi \, e^{-i \phi/2} \frac{e^{\epsilon e^{i \phi} t}}{\sqrt{1+ a b \frac{\tanh{\sqrt{a \epsilon e^{i \phi}}}}{\sqrt{a \epsilon e^{i \phi}}}}} $$
Algunas observaciones. Observa cómo reescribí el integrando de la ILT. La función dentro de la raíz cuadrada en el denominador es ahora una función par de $s$ para que no haya más puntos de bifurcación excepto el factor de $s^{3/2}$ en el denominador. Obsérvese también que las integrales aparecen singulares en $\epsilon$ mostraré que las singularidades se cancelan, como suele ocurrir en los cálculos de la ILT.
Por el teorema de Cauchy, la integral de contorno es cero. Por lo tanto, tenemos como $R \to \infty$ :
$$\int_{c-i \infty}^{c+ i \infty} ds \, \frac{e^{s t}}{s^{3/2} \sqrt{1+ a b \frac{\tanh{\sqrt{a s}}}{\sqrt{a s}}}} = -i 2 \int_{\epsilon}^{\infty} dx \, x^{-3/2} \frac{e^{-x t}}{\sqrt{1+ a b \frac{\tan{\sqrt{a x}}}{\sqrt{a x}}}} \\+ i \epsilon^{-1/2} \int_{-\pi}^{\pi} d\phi \, e^{-i \phi/2} \frac{e^{\epsilon e^{i \phi} t}}{\sqrt{1+ a b \frac{\tanh{\sqrt{a \epsilon e^{i \phi}}}}{\sqrt{a \epsilon e^{i \phi}}}}} $$
Para ver cómo las singularidades en $\epsilon$ cancelar, reescribir el RHS como
$$-i 2 \int_{\epsilon}^{\infty} dx \, x^{-3/2} \frac{e^{-x t}-1}{\sqrt{1+ a b \frac{\tan{\sqrt{a x}}}{\sqrt{a x}}}} -i 2 \int_{\epsilon}^{\infty} dx \, x^{-3/2} \frac{1}{\sqrt{1+ a b \frac{\tan{\sqrt{a x}}}{\sqrt{a x}}}} \\+ i \epsilon^{-1/2} \int_{\pi}^{-\pi} d\phi \, e^{-i \phi/2} \frac{e^{\epsilon e^{i \phi} t}}{\sqrt{1+ a b \frac{\tanh{\sqrt{a \epsilon e^{i \phi}}}}{\sqrt{a \epsilon e^{i \phi}}}}}$$
Obsérvese que la primera integral es finita ya que $\epsilon \to 0$ . En este límite, la segunda integral se aproxima
$$- i 2 \epsilon^{-1/2} \int_{1}^{\infty} dy \, y^{-3/2} = -i 4 \epsilon^{-1/2}$$
La tercera integral se aproxima
$$i \epsilon^{-1/2} \int_{-\pi}^{\pi} d\phi \, e^{-i \phi/2} = +i 4 \epsilon^{-1/2}$$
Obviamente, estos se cancelan. Las expansiones de orden superior en $\epsilon$ se desvanecen como $\epsilon \to 0$ por lo que la ILT puede escribirse ahora como
$$\frac1{i 2 \pi} \int_{c-i \infty}^{c+ i \infty} ds \, \frac{e^{s t}}{s^{3/2} \sqrt{1+ a b \frac{\tanh{\sqrt{a s}}}{\sqrt{a s}}}} = \frac1{\pi} \int_0^{\infty} dx \, \frac{1-e^{-x t}}{x^{3/2}\sqrt{1+ a b \frac{\tan{\sqrt{a x}}}{\sqrt{a x}}}} $$
Esto es lo más lejos que puedo llegar. La integral en el lado derecho está bien definida para todos los valores de $t$ pero imagino que la presencia del $\tan$ puede dar a un integrador numérico algunos ajustes. Buena suerte.
ADDENDUM
La raíz en el denominador también puede dar lugar a otros puntos de ramificación en el plano complejo. Calcular la ubicación de estos puntos de bifurcación me parece bastante difícil y quizá sea mejor suponer que $a$ y $b$ se definen de tal manera que no hay tales puntos de bifurcación en el semiplano izquierdo (si es que eso es posible).