Prueba por el teorema del sándwich, mediante el establecimiento de los límites superior e inferior para el límite.
Límite superior: Desde $[x] \leq x$, entonces
\begin{align*}
a_n &= \frac{ [x] + [2x] + [3x] + \dotsb + [nx] }{n^2}
\\ &\leq \frac{x + 2x + 3x + \dotsb + nx}{n^2}
\\ &\leq \frac{\left( \sum_{i=1}^n i \right) x}{n^2}
= \left( \sum_{i=1}^n i \right) \frac{x}{n^2} = \frac{n(n+1)}{2} \frac{x}{n^2} = \frac{n(n+1)x}{2n^2}
\end{align*}
Tomando $n \to \infty$, entonces
$$
\lim_{n \to \infty} a_n \leq \lim_{n \to \infty} \frac{n(n+1)x}{2n^2} = \frac{x}{2}.
$$
Límite inferior: considerar $x=1/m$. Por $km \leq n < (k+1)m$, donde $k \in \mathbb{N}$, minimizar el numerador y maximizar el denominador (desde $x$ es positivo) para obtener:
$$
a_n \geq \frac{\left(\sum_{i=1}^{k-1}\right)m}{((k+1)m)^2} = \frac{(k-1)k}{2(k+1)^2m}
$$
Tomando límites,
\begin{align*}
\lim_{n \to \infty} a_n &\geq \lim_{n \to \infty} \frac{(k-1)k}{2(k+1)^2m} \\
&\geq \frac{1}{2m}.
\end{align*}
Desde los límites de respeto sumas, entonces este límite inferior se sostiene por ninguna suma de fracciones de la forma de 1 $/m$. Cualquier número real positivo de $x$ se puede escribir como (posiblemente) serie infinita donde los términos son de la forma $1/m$ y son monótonamente decreciente. (Esto es cierto desde $1/n \to 0$ pero $\sum 1/n \to \infty$. Por ejemplo, $\pi = 1/1 + 1/1 + 1/1 + 1/8 + 1/61 + \dotsb$. Por cierto, esta representación es también no necesariamente única.) Tomando el límite de las sumas parciales de esta serie, el límite inferior $\lim_{n \to \infty} a_n$ enfoques $x/2$.
Por lo tanto, por el teorema del sándwich, ya que $x/2$ es a la vez un límite inferior y superior $\lim_{n \to \infty} a_n$, entonces $x/2$ es el límite.