En el ejemplo concreto que has puesto: La derivada se define como $\lim_{h\to 0} \frac{f(x+h) - f(x)}{h}$ y, como ocurre con los límites, este límite puede existir o no. En el caso $f(x) = |x|$ y $x=0$ el límite sólo no existe y por lo tanto, esta es la redacción correcta. Por otro lado, hay son posibles definiciones de una derivada de $f(x) = |x|$ a cero (por ejemplo, utilizando el análisis convexo se puede definir como todo el intervalo $[-1,1]$ ) y por lo tanto, parece apropiado decir que la derivada es indefinido .
En general, "no existe" y "no está definido" son cosas muy diferentes a nivel práctico. La primera dice que existe una definición para algo que no conduce a un objeto matemático en un caso concreto. La segunda dice que simplemente no existe una definición para un caso concreto. Por supuesto, se pueden intercambiar ambas formulaciones algunas veces (como en tu ejemplo, al menos en mi opinión).