Bien, hagamos esto correctamente: usamos coordenadas polares $x=r\cos \phi$ y $y=r\sin \phi$. Vamos a intentar utilizar el teorema del sandwich (o restricción):
\begin{align} 0&\leq \left|\frac{(x^5+y^5)\ln(x^2+y^2)}{(x^2+y^2)^2}\right| \ &= \frac{r^5|\cos\phi + \sin\phi|\cdot|\ln r^2|}{r^4} \ &\leq r\cdot(1+1)\cdot2\cdot|\ln r| = 4r |\ln r|. \end {Alinee el} ahora tenemos que mostrar que $r|\ln r|\to 0$. Para esto utilizaremos el teorema de l ' hospital (nota que $|\ln r|=-\ln r$ % pequeña $r$):
\begin{align} &\lim{r\to 0} r |\ln r| = \lim{r\to 0} \frac{-\ln r}{\frac1r} = "-\frac\infty\infty"\ &\lim{r\to 0} \frac{-\frac1r}{-\frac1{r^2}} = \lim{r\to0} r = 0. \end {Alinee el} ya que el último límite converge, ambos límites son iguales y por lo tanto $r|\ln r|\to 0$ $r\to 0$. Y así, por el teorema del emparedado, el límite que pediste converge a $0$.