El enfoque mecanicista sería simplemente sustituto $b=y/a$ en la primera ecuación para obtener una ecuación cuadrática en $a$. Pero al ver la sencillez de la givens, creo que debe haber alguna mejor y elegantes maneras de hacer esto.
La mejor manera que puedo pensar es esto:
$(a-b)^2 = (a+b)^2 - 4ab \iff (a-b)^2 = x^2 - 4y \iff a-b = \pm\sqrt{x^2 - 4y}$
La solución de este con $a+b=x$, obtenemos el resultado.
Podría darse el caso de que no hay muchas formas, pero eso está bien. Si hay, yo estaría interesado en leerlos.
Edit: Además, si sabemos que tanto $a$ $b$ son no-negativos, podemos utilizar esta información para una mejor solución?