Estás tratando de tratar las variables vectoriales 3D como variables escalares en un par de lugares allí, y eso no funciona.
En primer lugar, como alude Alex S, el concepto de $\frac{df}{d\vec v}$ , donde $f(\vec v)$ es una función vectorial tiene que ser interpretada como el gradiente. Como tal, la notación diferencial es muy engañosa, por lo que generalmente se expresa como $\nabla f$ o a veces $D_{\vec v}f$ pero no como $\frac{df}{d\vec v}$ .
En segundo lugar, como $\vec u$ y $\vec R'$ son ambos vectores, $\frac {d\vec u}{d\vec R'}$ representa la derivada de una función de $\Bbb r^3$ a $\Bbb r^3$ . Sospecho que aún no se ha encontrado con estos derivados, pero si lo ha hecho, debe saber que son $3\times 3$ matrices, no valores escalares. Ahora bien, en este caso se trata simplemente de $-I$ , así que no estabas tan lejos, pero deberías tener clara la diferencia. Como en el caso anterior, no se prefiere la notación de relación diferencial. Esta se denota más comúnmente por $D_{\vec R'}\vec u$
La regla de la cadena sí se aplica en este caso, aunque los derivados tengan formas diferentes. Así que $$D_{\vec R'}|\vec u|^{-1} = D_{\vec R'}\vec uD_{\vec u}|\vec u|^{-1}$$ .
La tercera es que $|\vec u| = \sqrt{\vec u \cdot \vec u}$ , donde $\cdot$ es el producto interior, por lo que se define $f(x) = 1/\sqrt x$ entonces $|\vec u|^{-1} = f(\vec u \cdot \vec u)$ que por una aplicación de la regla de la cadena multivariante nos da de nuevo $$D_{\vec u}|\vec u|^{-1} = f'(\vec u \cdot \vec u)D_{\vec u}(\vec u \cdot \vec u)$$ Ahora $f'(x) = -\frac12x^{-3/2}$ y se puede ver en el cálculo de coordenadas que $D_{\vec u}(\vec u \cdot \vec u) = 2\vec u$ .
Así que si se juntan estas piezas, se puede ver lo que realmente es el derivado: $$\begin{align}D_{\vec R'}|\vec u|^{-1} &= D_{\vec R'}\vec uD_{\vec u}|\vec u|^{-1}\\&=(-I)\left(f'(\vec u \cdot \vec u)D_{\vec u}(\vec u \cdot \vec u)\right)\\&=-\left(-\frac12(\vec u \cdot \vec u)^{-3/2}\right)(2\vec u)\\&=\frac{\vec u}{|\vec u|^3}\\&=\frac{\vec R - \vec R'}{|\vec R - \vec R'|^3}\end{align}$$