Acabo de encontrarme con este ejercicio y me he dado cuenta de lo mismo. Es agradable cuando MSE confirma una sospecha de error. Para que conste, estoy usando 3 ª Edición.
En realidad, la solución del Libro de Respuestas parece contener otros dos errores sustanciales. No es la mejor salida de Spivak.
Aunque la pregunta es antigua, ofrezco una respuesta, menos para el autor original y más para la próxima persona que se encuentre con este ejercicio:
Error 1: Primero tenemos que demostrar que $f^{-1}$ es diferenciable. El Libro de Respuestas no lo hace. Sin esto, ni 10(a) ni 10(b) pueden completarse.
Se nos dice que $\mathcal{D}f(x)$ existe para todos $x$ . A partir de la definición de la derivada de Schwarz, esto significa que $f^\prime(x)$ existe y es $\neq 0$ .
Así $f$ es continua.
Además, supongamos $f(a) = f(b)$ para algunos $a < b$ . Por Rolle existe algún $x$ en el intervalo $(a,b)$ tal que $f^\prime(x)= 0$ .
Como sabemos $f^\prime(x)\neq 0$ Esto no puede ser. Por lo tanto, $f(a)\neq f(b)$ para cualquier $a \neq b$ es decir $f$ es uno (y creciente o decreciente).
Resumiendo, $f$ es una función continua unívoca con derivada $f^\prime(x) \neq 0$ para todos $x$ . Por lo tanto, por los teoremas del capítulo, $f^{-1}$ es continua, unívoca (creciente o decreciente) y diferenciable para todos $x$ en su dominio.
Además, $f^{-1\prime} \neq 0$ porque si lo fuera.., $f$ no sería diferenciable en todas partes.
Ahora que hemos demostrado $f^{-1}$ es diferenciable con $(f^{-1})^\prime \neq 0$ podemos ir demostrando que es tres veces diferenciable, como hace la solución del libro. Esto demostrará que $\mathcal{D}f^{-1}(x)$ existe para todos $x$ .
Error 2: La respuesta de Libro para 10(a) enumera la derivada de tercer orden de $f^{-1}$ como
$$(f^{-1})^{\prime\prime\prime}(x) = \frac{-[f^\prime(f^{-1}(x))]^3 f^{\prime\prime\prime}(f^{-1}(x)) + 3f^{\prime\prime}(f^{-1}(x))[f^\prime(f^{-1}(x))]^2}{[f^\prime(f^{-1}(x))]^7}$$
o, para simplificar un poco la expresión:
$$= \frac{-[f^\prime]^3 f^{\prime\prime\prime} + 3f^{\prime\prime}[f^\prime]^2}{[f^\prime]^7} \circ f^{-1}(x)$$
Esto está mal. Parece que ha habido un error de cálculo, al faltar en el libro una potencia de $f^{\prime\prime}$ en el numerador.
La expresión correcta, después de simplificar es (creo):
$$(f^{-1})^{\prime\prime\prime}(x) = \frac{-f^{\prime\prime\prime}f^\prime + 3(f^{\prime\prime})^2} {[f^\prime]^5} \circ f^{-1}(x)$$
Puedes utilizar esta expresión junto con las de las derivadas de primer y segundo orden para calcular la parte (b).
Error 3: Como señala @helios321, la respuesta de la parte (b) afirma incorrectamente que $\mathcal{D}(f \circ f^{-1}) = 1$ .
En realidad,
$$\mathcal{D}(f \circ f^{-1}) = \mathcal{D}x = 0$$
Para completar la parte (b) podemos usar esto junto con la identidad del Problema 10-17(a) como sugiere el Libro de Respuestas, o simplemente usar las derivadas de $f^{-1}$ y la definición de $\mathcal{D}$ para calcular $\mathcal{D}f^{-1}$ .
De cualquier manera, (creo) que deberíamos terminar con $$\mathcal{D}f^{-1}(x)= \frac{3f^{\prime\prime2} - 2f^{\prime\prime\prime}f^\prime}{2f^{\prime 4}} \circ f^{-1}(x)$$
