$e$ no es útil. Sólo pasa a ser el valor en $x = 1$ de la función exponencial
$$e^x = \sum_{n=0}^{\infty} \frac{x^n}{n!}$$
lo cual es muy útil porque es su propia derivada. Esta propiedad fundamental nos ayuda a resolver ecuaciones diferenciales, que son un lenguaje muy poderoso para la comprensión del universo.
El aburrido ejemplo es el modelado de algo así como el crecimiento de las bacterias. (Como Raymond Manzoni del comentario dice, una más interesante el ejemplo que involucra el crecimiento exponencial es la datación por carbono.) Mucho más interesante ejemplo (para mí, de todos modos) se produce si permites $x$ a algo más general de un número real: permitir que sea complejo y se obtiene la fórmula de Euler
$$e^{ix} = \cos x + i \sin x$$
lo cual nos indica que la exponencial puede representar rotaciones en el plano. También nos indica que $\cos x$ $\sin x$ puede ser utilizado para describir el movimiento armónico simple, básica y fundamental ejemplo de una ecuación diferencial que describe fenómenos del mundo real (como circuitos) que sabemos cómo resolver exactamente gracias a la función exponencial.
Para ser más específicos, el actual $I(t)$ en un circuito LC satisface la ecuación diferencial
$$\frac{d^2 I}{dt^2} + \frac{1}{LC} I = 0$$
donde $L$ es la inductancia y la $C$ es la capacitancia. El complejo exponencial puede ser utilizado para deducir que las soluciones a esta ecuación diferencial aspecto
$$I(t) = A \cos \omega t + B \sin \omega t$$
donde $\omega^2 = \frac{1}{LC}$. Esta es una muy precisa descripción: la actual es periódica y podemos calcular explícitamente su período. Agregar en una resistencia y obtener una similar ecuación diferencial cuya solución puede ahora ser amortiguado, y de nuevo podemos calcular explícitamente cómo rápidamente la corriente es de amortiguamiento.
Exponenciales están también estrechamente relacionadas con la teoría de la transformada de Fourier (que también nos ayuda a resolver ecuaciones diferenciales y mucho más), la distribución normal (la que utilizamos para entender las estadísticas), la aproximación factoriales (que muchas veces tenemos que hacer en ciencias de la computación)...