Para $n > 1$, tenemos
$$a_{n+1}^2 = a_{n} + ( a_{n-1} + \ldots + a_{1} ) = a_{n} + a_{n}^2$$
Esto implica
$$\displaystyle a_{n+1} = \sqrt{a_n^2 + a_n} < \sqrt{a_n^2 + a_n +\frac14} = a_n + \frac12$$
Aviso de $a_2 = \sqrt{a_1} = 1$, esto nos da una cota superior de a$a_m \le \frac{m}{2}$$m > 1$.
Como se ha señalado por robjohn, hay un error en el original derivación de un límite inferior.
Para obtener una correcta límite inferior, vamos a construir en 3 etapas.
Es evidente $a_k$ es un aumento de la secuencia y desde $a_1 = 1$, tenemos
$a_k \ge 1$ todos los $k$.
Desde $\quad a_{n+1} = \sqrt{ a_n^2 + a_n } \ge \sqrt{ a_n^2 + \frac23 a_n + \frac13} > a_n + \frac13\quad$$a_1 = a_2 = 1 $,
llegamos $a_m > \frac{m}{3}$$m > 0$.
- Observe $\displaystyle\quad(a_n + \frac12 - \frac{1}{8a_n})^2 =
a_n^2 + a_n - \frac{1}{8a_n} ( 1 - \frac{1}{8a_n}) < a_{n+1}^2.$
El límite inferior de $2^{nd}$ etapa implica
$$\begin{align}
& a_{n+1} > a_n + \frac12 - \frac{1}{8a_n} > a_n + \frac12 - \frac{3}{8n}\\
\implies &
a_m \ge \frac{m}{2} - \frac{3}{8} \sum_{k=2}^{m-1}\frac{1}{k}\;\;\text{ for }m > 2
\end{align}$$
Desde $\displaystyle \sum_{k=2}^{m-1}\frac{1}{k} \sim \log m + O(1)$ grandes $m$, nos encontramos con $\displaystyle\quad a_m = \frac{m}{2} + O(\log m)\quad$$m \to \infty$.
Para el primer límite, tenemos la estimación:
$$\frac{\sum_{k=1}^{n}a_k}{n\sqrt{n}} = \frac{a_{n+1}^2}{n\sqrt{n}} = \frac{\left(\frac{n}{2} + O(\log n)\right)^2}{n\sqrt{n}} \sim O(\sqrt{n})$$
Esto implica que el primer límite diverge. Para el segundo límite, hemos
$$\frac{\sum_{k=1}^{n}a_k}{n^2} = \frac{a_{n+1}^2}{n^2} = \frac{\left(\frac{n}{2} + O(\log n)\right)^2}{n^2} = \frac14 + O(\frac{\log n}{n})$$
Desde $\lim_{n\to\infty} \frac{\log n}{n} = 0$, el segundo límite existe y es igual a $\frac14$.