Tal vez sea más fácil mirar un poco más en abstracto y luego aplicarlo a tu caso concreto.
Supongamos que $f$ es continua y $g$ es diferenciable.
Dejemos que $\phi(x) = \int_0^{g(x)} f(t) dt$ . El teorema fundamental/regla de Leibniz nos dice que $\phi'(x) = f(g(x)) g'(x)$ .
Así que queremos demostrar que $\lim_{h \to 0} |{ \phi(x+h)-\phi(x) \over h} -f(g(x))g'(x)| = 0$ .
Escoge $\epsilon>0$ y $\delta_1 >0$ de manera que si $|t-g(x)| < \delta$ entonces $|f(t)-f(g(x))| < \epsilon$ .
Además, elija $\delta_2 \le \delta_1$ de manera que si $|h|< \delta_2$ entonces $|{g(x+h)-g(x) \over h} - g'(x)| < \epsilon$ . \begin{eqnarray} |{\phi(x+h)-\phi(x) \over h } - f(g(x))g'(x) | &=& |{1 \over h}\int_{g(x)}^{g(x+h)} f(t) dt - f(g(x))g'(x)| \\&=& |{1 \over h}\int_{g(x)}^{g(x+h)} (f(g(x))+f(t)-(g(x))) dt - f(g(x))g'(x)| \\ &\le& |{1 \over h}\int_{g(x)}^{g(x+h)} f(g(x)) dt - f(g(x))g'(x)| +|{1 \over h}\int_{g(x)}^{g(x+h)} \epsilon dt|\\ &=& |f(g(x))| | {(g(x+h)-g(x)) \over h} - g'(x) | + \epsilon |{g(x+h)-g(x) \over h} |\\ &\le& \epsilon |f(g(x))|+ \epsilon^2 \end{eqnarray} Se deduce que el límite es cero.