Si $g'(x) = 0$, la prueba falla, pero como se ha mencionado en los comentarios, esto puede ser manejado como un caso separado.
El problema más serio es el cálculo
$$(f \circ g)'(x) \cdot \left(\frac{1}{g'(x)}\right) = \lim_{h \to 0}\left(\frac{f(g(x+h)) - f(g(x))}{h}\right)\cdot\left(\frac{h}{g(x+h)-g(x)}\right)$$
Si escribimos
$$a(h) = \frac{f(g(x+h))-f(g(x))}{h}$$
y
$$b(h) = \frac{h}{g(x+h)-g(x)}$$
a continuación, el cálculo anterior es la afirmación de que
$$\lim_{h \to 0}\ a(h) \cdot \lim_{h \to 0}\ b(h) = \lim_{h \to 0}\ a(h)b(h),$$
en otras palabras, que el límite de un producto es el producto de los límites.
Esto es cierto, siempre que ambos límites en el lado izquierdo de existir. Pero la existencia de $\displaystyle \lim_{h \to 0}\ a(h)$ es exactamente lo que estamos tratando de demostrar, por lo que el argumento es circular.
Editar para agregar:
Otra cuestión a destacar es la última afirmación, a saber,
$$f'(g(x)) = \lim_{h \to 0}\frac{f(g(x+h)) - f(g(x))}{g(x+h)-g(x)}$$
De hecho, la definición de la derivada de $f$, evaluado en $g(x)$, nos da
$$f'(g(x)) = \lim_{k \to 0}\frac{f(g(x)+k) - f(g(x))}{k}$$
La única razón por la que somos capaces de concluir que estas dos expresiones son iguales (incluso después de la manipulación de la $g(x+h) = g(x)$ de los casos correctamente) es debido a $g$ es continua en a $x$. Por supuesto, esto sigue de la diferenciabilidad de $g$$x$, pero de una cuidadosa prueba este punto.
