Creo que esto va a hacer el truco para mostrar que f(0) = 0:
Vamos a empezar por la creación de $x = 0$. Tenemos
$$f(f(y)) = f(0) + (1+f(0))y.$$
Mediante el establecimiento $y = 0$, obtenemos
$$f(x) = f(x + (1+x)f(0)).$$
Ahora se aplican $f$ a la expresión anterior y el uso de la primera ecuación:
$$f(0) + (1+ f(0))x = f(0) + (1+f(0))(x + (1+x)f(0)).$$
Esto se simplifica a
$$(1+x)(1+f(0))f(0) = 0$$
y por lo tanto $f(0) = 0$. También podemos concluir que el $f(f(y)) = y $, por lo que f es su propia inversa.
Vamos a suponer que hay números de $a,b$ tal que $a < b$ e $f(a) = b$ y $f(b) = a$ ($f$ es su propia inversa). Desde la función
$$ g(x) = \frac{f(x)}{x}$$
es el aumento de la hipótesis. Esto significa que $g(a) \le g(b)$, por lo que
$$\frac{f(a)}{a} \le \frac{f(b)}{b} \iff \frac{b}{a} \le \frac{a}{b} \iff$$
$$\frac{b^2 - a^2}{ab} \le 0 \iff \frac{(b-a)(b+a)}{ab} \le 0 \iff $$
$$ \frac{(b+a)}{ab} \le 0. $$
así que podemos decir que no se puede ser $a,b$ con el mismo signo. Por lo $x$ e $f(x)$ debe tener signos diferentes.
Como OP notado la ecuación
$$ f(x+(1+x)f(x)) = x + (1+x)f(x) $$
sostiene. Vamos a denotar $x+ (1+x)f(x)$ as $t$. Entonces la ecuación se dice $f(t) = t$ pero $f(t)$ e $t$ tienen signos diferentes, por lo tanto, $t$ debe ser cero. Por lo tanto, llegamos a la conclusión de que $x + (1+x)f(x) = 0$ y la función de $f$ es:
$$ f(x) = -\frac{x}{1+x}.$$