Hay dos problemas con su enfoque.
1) Cálculo del límite $\lim_{h \to 0}\{f(c + h) - f(c)\}/h$
2) no utilizar el hecho de que $f$ tiene un mínimo/máximo relativo en $c$ .
El primer problema parece ser el resultado de un malentendido del concepto de límite (por favor, no te preocupes, mucha gente tiene problemas con él al principio). Si el numerador de una fracción tiende a $0$ entonces no significa necesariamente que la fracción tienda a $0$ . También hay que analizar el comportamiento del denominador (al fin y al cabo una fracción no es sólo numerador). Si se diera el caso de que el denominador tiende a algún valor distinto de cero, entonces tu conclusión de que la fracción tiende a $0$ habría estado bien. Pero cuando tanto el numerador como el denominador de una fracción tienden a $0$ entonces la propia fracción podría tender a cualquier valor ( $\pm \infty$ también) o puede oscilar.
En cuanto a la prueba de Apostol, hay que ver cómo define una función continua $Q(x)$ tal que $Q(c) = f'(c)$ . Quiere hacer esto sólo para utilizar el hecho de que $Q(x)$ tendrá el mismo signo que $Q(c) = f'(c)$ en un determinado barrio de $c$ . Esto es una técnica y no es realmente necesario. Incluso sin crear una nueva función $Q(x)$ se puede proceder de la siguiente manera:
Supongamos que $f'(c) > 0$ es decir $$\lim_{h \to 0}\frac{f(c + h) - f(c)}{h} > 0$$ Ahora bien, si un límite es positivo significa que la propia función es positiva para valores de $h$ bajo consideración (el sentido común informal, una cosa negativa no puede tender a un límite positivo, pero esto puede ser justificado formalmente. Véase actualización abajo). Así, $$\frac{f(c + h) - f(c)}{h} > 0$$ para todos los valores de $h$ satisfaciendo $0 < |h| < \delta$ para algunos $\delta > 0$ .
Esto significa que $f(c + h) - f(c)$ tiene el mismo signo que el de $h$ . En otras palabras, si $h > 0$ entonces $f(c + h) > f(c)$ y si $h < 0$ entonces $f(c + h) < f(c)$ . Esto significa que $f$ no tiene ni un mínimo ni un máximo relativo en $c$ . Esto es exactamente lo que hace Apostol a través de $Q(x)$ .
El caso cuando $f'(c) < 0$ pueden ser tratados de forma similar. Y por lo tanto la única opción que queda es $f'(c) = 0$ .
Actualización : Si $\lim_{x \to a}f(x) = A > 0$ entonces demuestre que la función $f(x)$ es positivo en una determinada vecindad de $a$ (excepto posiblemente en $a$ ) .
Evidentemente, ya que $A > 0$ tenemos $\epsilon = A/2 > 0$ . Ahora existe un $\delta > 0$ tal que $|f(x) - A| < \epsilon$ siempre que $0 < |x - a| < \delta$ . Por lo tanto, tenemos $$A - \epsilon < f(x) < A + \epsilon$$ siempre que $0 < |x - a| < \delta$ . Esto significa claramente que $$0 < \frac{A}{2} = A - \epsilon < f(x)$$ y por lo tanto $f(x)$ es positivo para $0 < |x - a| < \delta$ .