Parece lo siguiente.
Continuaré a partir de los resultados ya obtenidos. Dado que la función $f$ es biyectiva, existe un punto $x_0$ tal que $f(x_0)=1$ . Poniendo la relación (*) $x=x_0$ y $y=nx_0$ obtenemos
$$f^{-1}(f(x_0)f(nx_0))=\frac{f((n+1)x_0)-f(x_0)-f(nx_0)}2$$ $$nx_0=\frac{f((n+1)x_0)-1-f(nx_0)}2$$ $$f((n+1)x_0)= f(nx_0)+2nx_0+1$$
A partir de esta recurrencia, utilizando la condición inicial $f(x_0)=1$ obtenemos
$$f(nx_0)=n+n(n-1)x_0.$$
Poniendo la relación (*) $x=2x_0$ y $y=2x_0$ obtenemos
$$f^{-1}(f(2x_0)^2)=\frac{f(4x_0)-2f(2x_0)}2$$
$$f^{-1}((2+2x_0)^2)=\frac{4+12x_0-2(2+2x_0)}2$$ $$f^{-1}((2+2x_0)^2)=4x_0$$ $$(2+2x_0)^2=f(4x_0)=4+12x_0$$ $$(1+x_0)^2=1+3x_0$$ $$x_0^2=x_0$$ $$x_0=1$$
Así que
$$f(n)=n^2.$$
Poniendo la relación (*) $x=1$ y $y=y$ obtenemos
$$f^{-1}(f(y))=\frac{f(y+1)-f(1)-f(y)}2$$ $$2y=f(y+1)-1-f(y)$$ $$f(y+1)=f(y)+2y+1$$
Iterando esta recurrencia, obtenemos (**)
$$f(y+n)=f(y)+2ny+n^2.$$
Poniendo la relación (*) $x=n$ y $y=y$ obtenemos
$$f^{-1}(f(n)f(y))=\frac{f(n+y)-f(n)-f(y)}2$$ $$f^{-1}(n^2f(y))=\frac{f(n+y)-n^2-f(y)}2$$
Utilizando (**), obtenemos $$f^{-1}(n^2f(y))=ny$$ $$n^2f(y)=f(ny).$$
Por lo tanto, para cada número racional positivo $\frac pq$ tenemos
$$f\left(\frac pq\right)=\frac 1{q^2}f(p)= \frac {p^2}{q^2}.$$
Dado que la función $f$ es continua, para cada $x\ge 0$ tenemos
$$f(x)=x^2.$$