Es fácil demostrar que $\lim_{(x,y)\to (0,0)}f(x,y)=0=f(0,0)$ ( ver esto ) por lo tanto $f(x,y)$ es continua en $(0,0)$ . Para determinar si $f(x,y)$ es diferenciable, necesitamos los valores de las derivadas $f_{x}(0,0)$ y $f_{y}(0,0)$ . Por definición de las derivadas parciales:
$\\ f_{x}(0,0)=\lim_{h\to 0}\frac{f(h,0)-f(0,0)}{h}=\lim_{h\to 0}0=0 \\ \\ f_{y}(0,0)=\lim_{k\to 0}\frac{f(0,k)-f(0,0)}{k}=\lim_{k\to 0}0=0$
Ahora $f(x,y)$ es diferenciable en $(0,0)$ si y sólo si $$\lim_{(h, k)\to (0,0)}\frac{f(h,k)-f(0,0)-f_{x}(0,0)k-f_{y}(0,0)k}{\sqrt{h^2+k^2}}=0$$
que se convierte en
$$\lim_{(h, k)\to (0,0)}\frac{h k^3}{(h^2+k^4)\sqrt{h^2+k^2}}=0$$
pero si tomas $h=k^2$ la restricción es $$\lim_{k\to 0}\frac{k}{2\sqrt{k^2+k^4}}=\lim_{k\to 0}\frac{k}{2|k|\sqrt{1+k^2}}=\begin{cases}\frac{1}{2}&\mbox{if} \ k\to 0^{+}\\ -\frac{1}{2}&\mbox{if}\ k\to 0^{-}\end{cases}$$
En el camino $(k^2,k)$ el límite $$\lim_{(h, k)\to (0,0)}\frac{h k^3}{(h^2+k^4)\sqrt{h^2+k^2}}\ne 0$$ por lo que $f(x,y)$ no es diferenciable en $(0,0)$ .