Rastro de la solución, no sé realmente si eso puede ayudar pero lo intentamos...
En primer lugar vamos a reescribir la integral olvidando el término delante de ella y el signo menos, es decir, ignoraré el término
$$-\frac{1}{\sqrt{2\pi t}\sigma a}$$
Ahora, vamos a reescribir la integral con la escritura más sencilla:
$$A = a\mu ~~~ B = 2a^2\sigma^2$$
Y manipulemos los logaritmos de la siguiente manera:
$$\ln\left(\frac{1}{1-x}\right) = -\ln(1-x)$$
así que
$$-\ln(1-x) + \ln(x) = \ln\frac{x}{1-x}$$
Propiedad trivial de logaritmo.
Ahora la integral es
$$\large \int_0^1 \large \frac{1}{x(1-x)} \large e^{i x\omega}\ e^{\large \left(\frac{\large \left(-A + \ln\frac{x}{1-x}\right)^2}{B}\right)}\ \text{d}x$$
Ahora vamos a preferir el cambio de variable
$$z = -A + \ln\frac{x}{1-x}$$
Con un cálculo sencillo encontrarás que
$$\text{d}z = \frac{\text{d}x}{x(1-x)}$$
Y la transformación inversa nos lleva a
$$x = \frac{e^{z+A}}{1 + e^{z+A}}$$
Ahora la nueva integral recorre de la siguiente manera
$$\large \int_{-\infty}^{+\infty} e^{-i\omega \large \frac{e^{z+A}}{1 + e^{z+A}}} e^{\frac{z^2}{B}}\ \text{d}z$$
Entonces me quedo atascado, más o menos.
Tengo algunas ideas pero primero necesito verificar su validez y estoy en el tren ahora, así que no es muy cómodo...
IDEA LOCA
Dada la última integral, pensé en esto: Podría existir dos valores $M_1$ y $M_2$ tal que e pueda dividir
$$\int_{-\infty}^{+\infty} = \int_{-\infty}^{M_1} + \int_{M_1}^{M_2} + \int_{M_2}^{+\infty}$$
Y esos valores son tales que ambas integrales
$$\int_{-\infty}^{M_1}$$
y
$$\int_{M_2}^{+\infty}$$
llevan a suponer que dentro de esos rangos, podemos aproximar un término en la integral:
$$\frac{e^{z+A}}{1 + e^{z+A}} \approx 1$$
entonces obtendríamos
$$\int_{-\infty}^{M_1} e^{i\omega} e^{\frac{z^2}{B}}\ \text{d}z$$
Lo cual es solucionable en términos de la función de error imaginaria:
$$e^{i\omega}\frac{1}{2} \sqrt{\pi } \left(\sqrt{B} \text{erfi}\left(\frac{M_1}{\sqrt{B}}\right)+\sqrt{-B}\right)$$
Y de la misma manera
$$\int_{M_2}^{+\infty} e^{i\omega}e^{\frac{z^2}{B}}\ \text{d}z$$
Lo cual es
$$\frac{1}{2} \sqrt{\pi } \left(\sqrt{-B}-\sqrt{B} \text{erfi}\left(\frac{M_2}{\sqrt{B}}\right)\right)$$
Así que obtendríamos el resultado parcial
$$\frac{\sqrt{\pi}e^{i\omega}}{2}\left\{2\sqrt{-B} + \sqrt{B}\left(\text{erfi}\left(\frac{M_1}{\sqrt{B}}\right) - \text{erfi}\left(\frac{M_2}{\sqrt{B}}\right)\right)\right\}$$
Con las preguntas restantes:
Huelo algo como el método de Laplace... o la fase estacionaria... pero necesito más tiempo.
Lo siento si eso parece una idea insana jaja, pero es lo que pensé