Deje $0<z_1 < z_2$ tal que $az_2\leq bz_1$. A continuación, para:
\begin{align}
\begin{cases}
x^2&=\left(z_2-\frac{b}{a}z_1\right)/\left(1-\frac{b}{a}\right)\\
y&=\left( z_1 - x^2\right)/a
\end{casos}
\end{align}
Tenemos: $f(z_1) \geq f(z_2)$. Para
\begin{align}
\begin{cases}
x^2 &= \left(z_2-\frac{a}{b}z_1\right)/\left(1-\frac{a}{b}\right)\\
y &= \left( z_1 -x^2\right)/b
\end{casos}
\end{align}
Tenemos $f(z_2)\geq f(z_1)$. Por lo tanto $f(z_1)=f(z_2)$. Desde $z_1 $ $z_2$ fueron arbitrarias llegamos $f(z)=C$ todos los $z>0$.
Edit. Tome $z_1 =1$, entonces sabemos que $$\{C\}=f\left(\bigg[1, \frac ba\bigg]\right)=f\left(\bigg[\frac ba, \frac {b^2}{a^2}\bigg]\right)=....$$ and this gets all numbers in $[1,\infty)$ since $(b/a)^n\to \infty$ as $n\to \infty$.
Ahora tome $z_2=1$ sabemos que:
\begin{align}
\{C\}= f\left(\bigg[\frac ab,1\bigg]\right)=f\left(\bigg[\frac {a^2}{b^2},\frac ab\bigg]\right)=....
\end{align}
Y esto hace que todos los números en $(0,1]$. Esto demuestra el resultado desde $(a/b)^n\to 0$$n\to \infty$.
Voy a dejar los pequeños detalles.