Estoy buscando en la integral (1) y viendo la transformada de Laplace de la integral de convolución. Tenga en cuenta que
$$\int_0^t dt' \, f(t') g(t-t') = \frac1{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \, F(s) G(s) e^{s t}$$
donde
$$F(s) = \int_0^{\infty} dt \, f(t) e^{-s t} $$
$$G(s) = \int_0^{\infty} dt \, g(t) e^{-s t} $$
En este caso, podemos definir
$$f_1(t) = t^{-3/2} e^{-\frac{a}{4 t}} $$
$$f_2(t) = t^{-1/2} e^{-\frac{a}{4 t}} $$
$$g_1(t) = t^{-1/2} \cos{\left ( \frac{b}{2 t} \right )} $$
$$g_2(t) = t^{-1/2} \sin{\left ( \frac{b}{2 t} \right )} $$
A continuación, (voy a mostrar este si es necesario)
$$F_1(s) = 2 \sqrt{\frac{\pi}{a}} e^{-\sqrt{a s}}$$
$$F_2(s) = \sqrt{\pi} s^{-1/2} e^{-\sqrt{a s}}$$
$$G_1(s) = \sqrt{\pi} s^{-1/2} e^{-\sqrt{b s}} \cos{\sqrt{b s}}$$
$$G_2(s) = \sqrt{\pi} s^{-1/2} e^{-\sqrt{b s}} \sin{\sqrt{b s}}$$
Así que vamos a evaluar
$$\frac1{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \, s^{-1/2} e^{-\sqrt{p s}} \cos{\sqrt{b s}} \, e^{s t}$$
donde $\sqrt{p} = \sqrt{a}+\sqrt{b} $. Para evaluar esto, hacemos uso del teorema de Cauchy y considerar la integral de contorno
$$\oint_C dz \, z^{-1/2} e^{-\sqrt{p z}} \cos{\sqrt{b z}} \, e^{z t}$$
donde $C$ es el siguiente perfil:
Vamos a definir $\text{Arg}{z} \in (-\pi,\pi]$, por lo que la rama es el eje real negativo. Hay $6$ piezas para este contorno, $C_k$, $k \in \{1,2,3,4,5,6\}$, de la siguiente manera.
$C_1$ es el contorno a lo largo de la línea de $z \in [c-i R,c+i R]$ para un valor grande de $R$.
$C_2$ es el contorno a lo largo de un arco circular de radio $R$ desde la parte superior de $C_1$ justo sobre el eje real negativo.
$C_3$ es el contorno a lo largo de una línea justo por encima del eje real negativo entre el $[-R, -\epsilon]$ para algunos pequeños $\epsilon$.
$C_4$ es el contorno a lo largo de un arco circular de radio $\epsilon$ sobre el origen.
$C_5$ es el contorno a lo largo de una línea justo debajo del eje real negativo entre el $[-\epsilon,-R]$.
$C_6$ es el contorno a lo largo del arco circular de radio $R$ desde justo debajo de la real negativo del eje de la parte inferior de $C_1$.
Vamos a mostrar que la integral a lo largo de $C_2$,$C_4$, y $C_6$ desaparecen en los límites de $R \rightarrow \infty$$\epsilon \rightarrow 0$.
En $C_2$, la parte real del argumento de la exponencial es
$$R t \cos{\theta} - \sqrt{p R} \cos{\frac{\theta}{2}} + \sqrt{b R} \sin{\frac{\theta}{2}}$$
donde $\theta \in [\pi/2,\pi)$. Claramente, $\cos{\theta} < 0$, $\cos{\frac{\theta}{2}} > 0$, y $\sin{\frac{\theta}{2}} > 0$, de modo que el integrando de manera exponencial decae como $R \rightarrow \infty$ y, por tanto, la integral se desvanece a lo largo de $C_2$.
En $C_6$, tenemos la misma cosa, pero ahora $\theta \in (-\pi,-\pi/2]$. Esto significa que, debido a la uniformidad del coseno, el integrando de manera exponencial decae de nuevo como $R \rightarrow \infty$ y por lo tanto la integral también se desvanece a lo largo de $C_6$.
En $C_4$, la integral se desvanece como $\epsilon$ en el límite de $\epsilon \rightarrow 0$. Por lo tanto, nos quedamos con la siguiente por Cauchy de la integral teorema (es decir, no hay polos en el interior de $C$):
$$\left [ \int_{C_1} + \int_{C_3} + \int_{C_5}\right] dz \: z^{-1/2} e^{-\sqrt{p z}} \cos{\sqrt{b z}} \, e^{z t} = 0$$
En $C_3$, podemos parametrizar por $z=e^{i \pi} x$ y la integral a lo largo de $C_3$ se convierte en
$$\int_{C_3} dz \: z^{-1/2} e^{-\sqrt{p z}} \cos{\sqrt{b z}} \, e^{z t} = e^{i \pi} \int_{\infty}^0 dx \: e^{-i \pi/2} x^{-1/2} e^{-i \sqrt{p x}} \cosh{\sqrt{b x}} \, e^{-x t}$$
En $C_5$, sin embargo, podemos parametrizar por $z=e^{-i \pi} x$ y la integral a lo largo de $C_5$ se convierte en
$$\int_{C_5} dz \: z^{-1/2} e^{-\sqrt{p z}} \cos{\sqrt{b z}} \, e^{z t} = e^{-i \pi} \int_0^{\infty} dx \: e^{i \pi/2} x^{-1/2} e^{i \sqrt{p x}} \cosh{\sqrt{b x}} \, e^{-x t}$$
Ahora podemos escribir, por Cauchy teorema,
$$-\frac{1}{2 \pi} \int_0^{\infty} dx \: x^{-1/2} \, e^{- x t} \left ( e^{i \sqrt{p x}} + e^{-i \sqrt{p x}} \right ) \cosh{\sqrt{b x}} + \frac{1}{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \: s^{-1/2} \, e^{-\sqrt{p s}} \cos{\sqrt{b s}} \, e^{s t} = 0$$
Por lo tanto, la ILT de $\hat{f}(s) = s^{-1/2} \, e^{-\sqrt{p s}} \cos{\sqrt{b s}}$ está dado por
$$\begin{align}\frac{1}{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \: e^{-\sqrt{s}} e^{s t} &= \frac{1}{\pi} \int_0^{\infty} dx \: x^{-1/2} \,e^{- x t} \, \cos{\sqrt{p x}} \, \cosh{\sqrt{b x}}\\ &= \frac{1}{\pi} \int_{-\infty}^{\infty} du\: e^{-t u^2} \cosh{\sqrt{b} u} \cos{\sqrt{p} u}\end{align}$$
El último paso consistió en la sustitución de $x=u^2$ y la explotación de la uniformidad del integrando.
Por lo tanto, el resultado es que
$$\frac{1}{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \: s^{-1/2} \, e^{-\sqrt{p s}}\, \cos{\sqrt{b s}} \, e^{s t} = (\pi t)^{-1/2} e^{\frac{b-p}{4 t}} \cos{\left ( \frac{\sqrt{b p}}{2 t} \right )}$$
Del mismo modo,
$$\frac{1}{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \: s^{-1/2} \, e^{-\sqrt{p s}}\, \sin{\sqrt{b s}} \, e^{s t} = (\pi t)^{-1/2} e^{\frac{b-p}{4 t}} \sin{\left ( \frac{\sqrt{b p}}{2 t} \right )}$$
También necesitamos encontrar la ILTs
$$\frac1{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \: s^{-1} \, e^{-\sqrt{p s}}\, \cos{\sqrt{b s}} \, e^{s t} $$
$$\frac1{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \: s^{-1} \, e^{-\sqrt{p s}}\, \sin{\sqrt{b s}} \, e^{s t} $$
Por las mismas razones anteriores, podemos escribir
$$\frac{1}{i 2 \pi} \int_0^{\infty} dx \: x^{-1} \, e^{- x t} \left ( e^{i \sqrt{p x}} - e^{-i \sqrt{p x}} \right ) \cosh{\sqrt{b x}} + \frac{1}{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \: s^{-1} \, e^{-\sqrt{p s}} \cos{\sqrt{b s}} \, e^{s t} = 1$$
$$-\frac{1}{2 \pi} \int_0^{\infty} dx \: x^{-1} \, e^{- x t} \left ( e^{i \sqrt{p x}} + e^{-i \sqrt{p x}} \right ) \sinh{\sqrt{b x}} + \frac{1}{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \: s^{-1} \, e^{-\sqrt{p s}} \sin { \sqrt{b s} } \, e^{s t} = 0$$
Tenga en cuenta que, en la anterior ecuación, la integral alrededor de $C_4$ es distinto de cero.
Por lo tanto,
$$\frac{1}{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \: s^{-1} \, e^{-\sqrt{p s}} \cos{\sqrt{b s}} \, e^{s t} = 1 - \frac1{\pi} \int_{-\infty}^{\infty} du\: e^{-t u^2} \cosh{\sqrt{b} u} \frac{\sin{\sqrt{p} u}}{u} $$
$$\frac{1}{i 2 \pi} \int_{c-i \infty}^{c+i \infty} ds \: s^{-1} \, e^{-\sqrt{p s}} \sin{\sqrt{b s}} \, e^{s t} = \frac1{\pi} \int_{-\infty}^{\infty} du\: e^{-t u^2} \cos{\sqrt{p} u} \frac{\sinh{\sqrt{b} u}}{u} $$