El hecho de que $\lim_{x \to 0^+} \frac{f(2x^2)}{\sqrt {3}x^2} = 1$ implica que el $\lim_{x \to 0^+}f(2x^2) = 0$ . Desde $f$ es continua, lo que a su vez implica que $f(0) = 0$ .
Ya que nos dan la función invertible, presumiblemente, $f$ debe ser invertible, es decir que es al menos uno a uno. Así que, en particular, tenemos $f^{-1}(0) = 0$ . No nos dicen explícitamente lo "agradable" $f^{-1}$ es, así que voy a tratar de conseguir asumiendo sólo que $f^{-1}$ es continua.
Ahora: para tratar el límite en cuestión, haremos la sustitución $x = f(y)$ para darnos el nuevo límite $$ \lim_{x \to 0^+} \frac{f(f(x)) }{f^{-1}(x)} = \lim_{y \to 0^+} \frac{f(f(f(y))) }{y} $$ Intenta justificar ante ti mismo que estos dos límites son los mismos. Ahora podemos reescribir el segundo límite como $$ \lim_{h \to 0^+} \frac{f(f(f(0+h))) - f(f(f(0)))}{h} = \left. \frac {d}{dx^+}[f(f(f(x)))] \right|_{x = 0} $$ Ahora está claro por qué queríamos tener $f \in \mathcal C^1$ . Recuerda que la regla de la cadena nos da $$ \frac {d}{dx}[f(f(f(x)))] = f'(f(f(x)))\cdot f'(f(x))\cdot f'(x) $$ Todo lo que queda, entonces, es encontrar $f'(0)$ .
Obsérvese que aplicando la regla de L'Hôpital al límite que se nos da se obtiene $$ 1 = \lim_{x \to 0^+} \frac{f(2x^2)}{\sqrt {3}x^2} = \lim_{x \to 0^+} \frac{f'(2x^2) \cdot 4x}{2\sqrt {3}x} = \lim_{x \to 0^+} \frac{2}{\sqrt{3}} f'(2x) = \frac 2{\sqrt 3} f'(0) $$ O, alternativamente, tomando la sustitución $u = 2x^2$ nos da $$ 1 = \lim_{x \to 0^+} \frac{f(u)}{(\sqrt{3}/2)u} = \frac 2{\sqrt 3} \lim_{u \to 0^+} \frac{f(u)}u = \frac 2{\sqrt 3} f'(0) $$