El Teorema del Límite Central tiene algo que decir sobre tu última pregunta. Específicamente, la manera usual de estimar como $P\left(X \leq k \right)$ consiste en la utilización de la función de distribución empírica (ECDF) y la informática
$$F_n(k) = \sum_{i=1}^n \frac{1}{n} \mathbf{1} \left(X_i \leq k \right)$$
donde nos acaba de contar el número de observaciones $X_1, \ldots, X_n$ que se quedan cortos de $k$ y dividir por el número total de observaciones. Es decir, nuestro más intuitiva estimador para esta probabilidad es la muestra correspondiente proporción.
Resulta que este estimador tiene fantásticas propiedades estadísticas. Se puede demostrar que converge, como $n \to \infty$, $P\left(X\leq k \right)$ con una probabilidad de uno y que lo hace de manera uniforme para todos los valores de $k$. Desde $F_n(k)$ es también una suma de iid términos, uno puede además aplicar la CLT para hacer probabilístico declaraciones acerca de la distancia desde el número real. No es muy difícil demostrar que
$$F_n(k) \xrightarrow{D} \mathcal{N} \left( P(X\leq k), \frac{ P(X\leq k)\left(1-P(X\leq k\right)} {n} \right) $$
Utilizando las propiedades de la distribución Normal se puede hacer probabilístico declaraciones acerca de la cantidad de $|F_n(k)-P(X\leq k)|$ después de conectar $F_n(k)$ en la varianza de la distribución asintótica.