Utilice la definición de derivada parcial:
$$
f_x(0,0)
~=~
\lim_{h\to 0}
\frac{f(h,0)-f(0,0)} h
~=~
\lim_{h\to 0}
\frac{\frac{h\cdot 0(h^2-0^2)}{h^2+0}-0} h
~=~
\lim_{h\to 0}
\frac{0}{h}
~=~
0
$$
Un cálculo similar muestra que $f_y(0,0)=0$, $(0,0)$ es un punto crítico (es decir,$\nabla f(0,0)=\binom 00$).
EDITAR
Ahora que conocemos los valores de$f_x(0,0)$$f_y(0,0)$, se puede calcular el $f_{xy}(0,0)$$f_{yx}(0,0)$:
$$
f_{xy}(0,0)
~=~
\lim_{k\to 0} \frac{f_x(0,k)-f_x(0,0)}k
~=~
\lim_{k\to 0} \frac{f_x(0,k)}k
$$
y
$$
f_{yx}(0,0)
~=~
\lim_{h\to 0} \frac{f_y(h,0)-f_y(0,0)}h
~=~
\lim_{h\to 0} \frac{f_y(h,0)}h
$$
En primer lugar, tenga en cuenta que para $(x,y)\neq(0,0)$
$$
f_x(x,y)=\frac{y\big(x^4+4x^2y^2-y^4\big)}{\big(x^2+y^2\big)^2}
$$
y
$$
f_y(x,y)=\frac{x\big(x^4-2x^2y^2-y^4\big)}{\big(x^2+y^2\big)^2}
$$
así que para $h,k\neq 0$
$$
f_x(0,k)=-k
\quad\text{y}\quad
f_y(h,0)=h
$$
Poniendo todo junto:
$$
f_{xy}(0,0)
~=~
\lim_{k\to 0} \frac{f_x(0,k)}k
~=~
\lim_{k\to 0}\frac {k}{k}
~=~
-1
$$
y
$$
f_{yx}(0,0)
~=~
\lim_{h\to 0} \frac{f_y(h,0)-f_y(0,0)}h
~=~
\lim_{h\to 0} \frac{f_y(h,0)}h
~=~
\lim_{h\to 0}\frac{h}{h}
~=~
1
$$
así
$$
f_{xy}(0,0)~=~-1 ~~\neq~~ 1~=~f_{yx}(0,0)
$$