¡Así que supongamos que $\nabla f$ existe en un vecindario de $a$!
$\nabla f(a) \neq 0$, así que sin pérdida de generalidad, supongamos que $\frac{\partial f}{\partial x_1} (a) \neq 0$ y $f(a) = 0$.
Esto significa que la función $g(t) = f(a+ t e_1)$ es continuamente diferenciable en $t=0$ y $g' (0) = \frac{\partial f}{\partial x_1} (a) \neq 0$, por lo que según el teorema de la función inversa (caso de una dimensión), $g: \mathbb{R} \to \mathbb{R}$ tiene una inversa localmente alrededor de $t=0$, es decir, $g^{-1}: (-\delta, \delta) \to (-\epsilon, +\epsilon)$ es continua. Ahora define $c: (-\delta, \delta) \to \mathbb{R}^p$ con $c(t) = a + g^{-1} (t) e_1$.
P.D.: $e_1 = (1, 0, 0,..., 0)$
Si te resulta costoso usar el teorema de la función inversa, puedes argumentar de la siguiente manera: sin pérdida de generalidad, supongamos que $g' (0) = \frac{\partial f}{\partial x_1} (a) > 0$. Esto garantiza que para $\delta > 0$ suficientemente pequeño, $g'(x) > 0$ para todo $x \in (-\delta, +\delta)$ porque $g'$ es continua en $t=0$. Entonces $g$ es estrictamente creciente, por lo que tiene una inversa.