Como una de las variables es una fracción propia, pongamos, sin pérdida de generalidad, $c = n/m$ donde $0 < n < m$ y $n,m\in \mathbb{N}$ . Entonces tenemos
$$a^2 + \dfrac{2n}{m}ab + \dfrac{n^2}{m^2} + b^2 - 1= 0.$$
Resolver para $a$ obtenemos
$$a = \dfrac{-\dfrac{2n}{m}b \pm \sqrt{\dfrac{4n^2}{m^2}b^2 - \dfrac{4n^2}{m^2} - 4b^2 + 4}}{2} = -\dfrac{n}{m}b \pm \sqrt{(1-b^2)\left(1 - \dfrac{n^2}{m^2}\right)}.$$
Entonces $-1 \leq b \leq 1$ . De la misma manera, $-1\leq a \leq 1$ que impondría un límite superior estricto de $a^2 + b^2 + c^2$ de $3$ .
En efecto, tomar $m = n+1$ y haciendo $n$ arbitrariamente grande podemos considerar la solución
$$a = 1,\qquad b = -\dfrac{n}{n+1}, \qquad c = \dfrac{n}{n+1}$$
y
$$a^2 + b^2 + c^2 = 1 + 2\dfrac{n^2}{(n+1)^2},$$
que puede estar tan cerca de $3$ como uno desea.