Si se tiene una función de densidad de probabilidad $P(x)$, entonces el valor esperado de una cantidad $f(x)$ está dado por
$$\langle f \rangle = \int f(x)P(x)\,\mathrm{d}x$$
evaluado en los límites de la función de densidad de probabilidad, es decir, si su PDF se extiende desde $-\infty$ hasta $\infty$, entonces esos son los límites de integración.
En nuestro caso, la PDF es la distribución Maxwell-Boltzmann (denotada como $P(v)$ aquí) y la cantidad de la que queremos encontrar el valor esperado es simplemente la velocidad, $v$. Dado que la velocidad solo puede ser positiva,* los límites de integración van de $0$ a $\infty$.
Por lo tanto, la velocidad media $\langle v \rangle$ está dada por la integral
$$\langle v \rangle = \int_0^\infty v P(v)\,\mathrm{d}v$$
donde $P(v)$ es la distribución Maxwell-Boltzmann
$$P(v) = \left(\frac{m}{2\pi kT}\right)^{3/2}4\pi v^2 \exp{\left(-\frac{mv^2}{2kT}\right)}$$
Entonces:
$$\begin{align} \langle v \rangle &= \int_0^\infty v P(v)\,\mathrm{d}v \\ &= 4\pi\left(\frac{m}{2\pi kT}\right)^{3/2} \int_0^\infty v^3 \exp{\left(-\frac{m}{2kT}v^2\right)}\,\mathrm{d}v \end{align}$$
La integral se puede evaluar utilizando integración por partes repetidamente. El proceso no es interesante y podría consultar una tabla de integrales estándar para encontrar el resultado:
$$\int_0^\infty v^3 \exp{(-\alpha v^2)}\,\mathrm{d}v = \frac{1}{2\alpha^2}$$
Tomando $\alpha = m/2kT$,
$$\begin{align} \langle v \rangle &= 4\pi\left(\frac{m}{2\pi kT}\right)^{3/2} \frac{4k^2T^2}{2m^2} \\ &= \sqrt{\frac{8kT}{\pi m}} \\ \end{align}$$
$m$ aquí se refiere a la masa de una molécula, mientras que $M$ en tu pregunta se refiere a la masa molar del compuesto. Están relacionados por $M = N_\mathrm{A}m$, donde $N_\mathrm{A}$ es la constante de Avogadro. Dado que $R = N_\mathrm{A}k$, puedes multiplicar arriba y abajo por $N_\mathrm{A}$ para obtener el resultado deseado
$$\langle v \rangle = \sqrt{\frac{8RT}{\pi M}}$$
Nota al pie
* Si la afirmación de que la velocidad es no negativa es confusa, vale la pena señalar que la $v$ en la distribución Maxwell-Boltzmann $P(v)$ no es la cantidad vectorial $\vec{v} = (v_x, v_y, v_z)$, sino más bien la magnitud de la velocidad $v = |\vec{v}| = \sqrt{v_x^2 + v_y^2 + v_z^2}$. Parte de la derivación de la distribución Maxwell-Boltzmann implica la conversión de la cantidad vectorial a su magnitud: de ahí proviene el exponente $3/2$ (en realidad es $1/2$ por dimensión en tres dimensiones) y también de dónde proviene el factor de $4\pi v^2$ ($4\pi v^2$ es la fórmula para el área superficial de una esfera: en términos generales, este factor representa la "colección" de todos los puntos $(v_x, v_y, v_z)$ que tienen la misma magnitud $v$). Una explicación más detallada se puede encontrar en cualquier libro típico de química física.