Si hacemos caso omiso de la coprimality restricción por un momento, nos fijamos en los conjuntos
$$B(R) = \{(a,b) \in\mathbb{N}^2 : a^2 + b^2 \leqslant R^2\}.$$
Es fácil ver que
$$\lvert B(R)\rvert = \frac{\pi}{4} R^2 + O(R).\tag{1}$$
Por otro lado, cada par $(a,b)$ $a^2 + b^2$ únicamente pueden ser escritos como $d\cdot (\alpha,\beta)$$\gcd(\alpha,\beta) = 1$, por lo que tenemos
$$\lvert B(R)\rvert = \sum_{d=1}^R \left\lvert A\biggl( \frac{R}{d}\biggr)\right\rvert.\tag{2}$$
Por generalizada de inversión de Möbius, $(2)$ es equivalente a
$$\lvert A(R)\rvert = \sum_{d=1}^R \mu(d)\left\lvert B\biggl(\frac{R}{d}\biggr)\right\rvert.\tag{3}$$
donde $\mu$ es la función de Möbius. Si $R$ está restringido a ser un número entero, debemos reemplazar la $\frac{R}{d}$$\left\lfloor\frac{R}{d}\right\rfloor$$(2)$$(3)$, y por debajo.
La inserción de $(1)$ a $(3)$, obtenemos
$$\lvert A(R)\rvert = \sum_{d=1}^R \mu(d) \left(\biggl( \frac{R}{d}\biggr)^2 + O\biggl(\frac{R}{d}\biggr)\right),\tag{4}$$
y como $\left\lvert \sum\limits_{d=1}^R\frac{\mu(d)}{d}\right\rvert \leqslant \sum\limits_{d=1}^R\frac{1}{d} = \log R + O(1)$, que se convierte en
$$\lvert A(R)\rvert = \frac{\pi}{4}R^2\sum_{d=1}^R \frac{\mu(d)}{d^2} + O(R\log R),\tag{5}$$
y ya
$$\sum_{d=1}^\infty \frac{\mu(d)}{d^2} = \frac{1}{\zeta(2)} = \frac{6}{\pi^2}$$
y
$$\left\lvert \sum_{d=R+1}^\infty \frac{\mu(d)}{d^2}\right\rvert \leqslant \sum_{d=R+1}^\infty \frac{1}{d^2} < \frac{1}{R},$$
finalmente
$$\lvert A(R)\rvert = \frac{3}{2\pi}R^2 + O(R\log R).$$
Si restringimos el argumento de $A$ $B$ a ser números enteros, entonces en $(4)$ el dominante plazo es
$$\sum_{d=1}^R \mu(d)\biggl\lfloor\frac{R}{d}\biggr\rfloor^2 = \sum_{d=1}^R\mu(d)\biggl(\frac{R}{d}\biggr)^2 - \sum_{d=1}^R \mu(d)\Biggl(\biggl(\frac{R}{d}\biggr)^2 - \biggl\lfloor \frac{R}{d}\biggr\rfloor^2\Biggr),$$
y ya
$$\biggl(\frac{R}{d}\biggr)^2 - \biggl\lfloor \frac{R}{d}\biggr\rfloor^2 = \underbrace{\Biggl(\frac{R}{d}-\biggl\lfloor\frac{R}{d}\biggr\rfloor\Biggr)}_{< 1}\underbrace{\Biggl(\frac{R}{d}+\biggl\lfloor\frac{R}{d}\biggr\rfloor\Biggr)}_{\leqslant 2\frac{R}{d}} < 2\frac{R}{d}$$
vemos que el comportamiento asintótico no cambia, sólo la constante en el segundo fin de cambios a largo plazo.