$$T(n) \in O(n \log n)$$ se define como $$(\exists C>0, n_0>0)(\forall n > n_o)\, T(n) \le C \cdot n \log n$$
Dado que $T(n) = 3\,T\left(\frac n4\right) + n \log n$ tenemos que encontrar $C$ y $n_0$ para satisfacer la definición. Procedamos inductivamente:
$$T(n) \le C \cdot n \log n$$ $$3\,T\left(\frac n4\right) + n \log n \le C \cdot n \log n$$
Ahora vemos que necesitamos tomar prestada la hipótesis inductiva $T\left(\frac n4\right) \le C \cdot \frac n4 \log \frac n4$ . Por lo tanto, la afirmación anterior estaría implícita en:
$$3\,\left(C \cdot \frac n4 \log \frac n4\right) + n \log n \le C \cdot n \log n$$
Así que ahora si podemos encontrar un positivo $C$ que hace cierta la afirmación anterior para valores positivos suficientemente grandes $n$ entonces hemos satisfecho la definición deseada. Mueve un poco las cosas:
$$3~C~n~\log n - 3~C~n~\log 4 + 4~n~\log n \le 4~C~n~\log n$$
$$4 \le \frac{3~C~\log 4} {\log n } + C$$
$$\frac{4 \log ~ n}{\log n + 3~\log(4)} \le C$$
Podemos ver que el lado izquierdo nunca será tan grande como $4$ (dejar $n = 4^z$ y simplificar para que quede más claro), así que $C \ge 4$ satisface la desigualdad para un valor suficientemente grande de $n$ .