Es necesario parametrizar la superficie $S$ no la curva. Puede proceder de la siguiente manera:
Dado que la superficie forma parte del cono $z=\sqrt{x^2+y^2}$ también podría utilizar
$$ x=x, \quad y=y, \quad z=\sqrt{x^2+y^2}, $$
con $x,y \in D:=\{(x,y)\; |\; x^2 +y^2 \le ax \}$ .
A continuación, calcula, $\|r_x \times r_y \|=\sqrt{2}$ . Ya tienes todo lo que necesitas.
La masa se define como la integral de la densidad superficial $\rho(x,y,z)$ en $S$ :
$$ m =\iint_S \rho(x,y,z) dS =\iint_D \rho(x,y) \|r_x \times r_y \| dA. $$
Si tiene una expresión más precisa de $\rho(x,y,z)$ puedes terminar de evaluar la integral.