Estás en el camino correcto, es muy similar al anterior. Como ha señalado, tenemos $$\sum_{n\leq x}\frac{\phi(n)}{n^{2}}=\sum_{n\leq x}\frac{1}{n}\sum_{d|n}\frac{\mu(d)}{d}.$$ Cambiando el orden de la suma se obtiene $$\sum_{d\leq x}\frac{\mu(d)}{d}\sum_{r\leq\frac{x}{d}}\frac{1}{rd}=\sum_{d\leq x}\frac{\mu(d)}{d^{2}}\sum_{r\leq \frac{x}{d}}\frac{1}{r}=\sum_{d\leq x}\frac{\mu(d)}{d^{2}}H_{\left[\frac{x}{d}\right]}.$$
Donde $H_m$ es el $m^{th}$ número armónico. Ahora es posible evaluar esto ya que $$\sum_{n\leq x}\frac{1}{n}=\log x +\gamma+O\left(\frac{1}{x}\right).$$ Entonces obtenemos $$\sum_{d\leq x}\frac{\phi(d)}{d^2}=\sum_{d\leq x}\frac{\mu(d)}{d^{2}}\left(\log\frac{x}{d}+\gamma+O\left(\frac{d}{x}\right)\right).$$
Podemos reescribir esta suma como
$$\log x\sum_{d\leq x}\frac{\mu(d)}{d^{2}}-\sum_{d\leq x}\frac{\mu(d)\log d}{d^{2}}+\gamma\sum_{d\leq x}\frac{\mu(d)}{d^{2}}+O\left(\frac{1}{x}\sum_{d\leq x}\frac{|\mu(d)|}{d}\right)$$
Desde $\sum_{d> x}\frac{\mu(d)\log d}{d^2}=O(\log x/x)$ y $\sum_{d\leq x}\frac{\mu (d)}{d}=O(\log x)$ vemos que
$$\sum_{n\leq x}\frac{\phi(n)}{n^2}=\log x \sum_{d=1}^\infty \frac{\mu(d)}{d^2}+\gamma \sum_{d=1}^\infty \frac{\mu(d)}{d^2}-\sum_{d=1}^\infty \frac{\mu(d)\log d}{d^2}+O\left(\frac{\log x}{x}\right).$$
Mirando estas series, $\sum_{d=1}^\infty \frac{\mu(d)}{d^2}=\frac{1}{\zeta(2)}$ y $\sum_{d=1}^\infty \frac{\mu(d)\log d}{d^2}=\frac{\zeta^{'}(2)}{\zeta(2)^2}$ y así
$$\sum_{n\leq x}\frac{\phi(n)}{n^2}=\frac{\log x}{\zeta(2)}+\frac{\gamma}{\zeta(2)} -\frac{\zeta^{'}(2)}{\zeta(2)^2}+O\left(\frac{\log x}{x}\right).$$
Espero que eso ayude,
Editar: Corregido el error con el término constante. Originalmente se me pasó el $-\log d$ plazo.
Editar 2: Cambiado el límite $\sum_{d> x}\frac{\mu(d)\log d}{d^2}=O(1/x)$ a $\sum_{d> x}\frac{\mu(d)\log d}{d^2}=O(\log x/x).$ Aunque la anterior también es cierta, requiere el teorema de los números primos. Para este resultado el $\log x$ no cambia nada, y hay una prueba mucho más sencilla. Vea esta respuesta.
