No, no son equivalentes.
Se dice que una función es diferenciable en un punto si el límite que define la derivada existe en ese punto. Sin embargo, la función que se obtiene como expresión de la propia derivada puede no ser continua en ese punto. Un buen ejemplo de este tipo de función es $$f(x) = \begin{cases}x^2(\sin(\frac{1}{x^2})) &\quad x \neq 0 \\ 0 &\quad x = 0 \end{cases}$$ que tiene una derivada finita en $x=0,$ pero la derivada es esencialmente discontinua en $x=0.$
Una función continuamente diferenciable $f(x)$ es una función cuya función derivada $f'(x)$ también es continua en el punto en cuestión.
En lenguaje común, mueves la secante para formar una tangente y puede que te dé una tangente real en ese punto, pero si ves las tangentes a su alrededor, no parecerán acercarse a esta tangente en ningún sentido. Puede sonar contraintuitivo, pero es posible. Una función así no es continuamente diferenciable.