Usted tiene $$\nabla u(x,y)=\bigl(2x(y^2+1),2y(x^2-1)\bigr)\ ,\tag{1}$$ y es fácil comprobar que $(0,0)$ es el único punto crítico en el interior de $B_2$ y $u(0,0)=0$ . Para hacer frente a la frontera $\partial B_2$ utilizamos la parametrización $$\partial B_2:\quad\phi\mapsto\bigl(x(\phi),y(\phi)\bigr)=(2\cos\phi,2\sin\phi)\qquad\bigl(\phi\in{\mathbb R}/(2\pi)\bigr)$$ y luego hay que analizar el pullback $$f(\phi):=u\bigl(x(\phi),y(\phi)\bigr)=4\cos^2\phi-4\sin^2\phi+16\cos^2\phi\sin^2\phi\ .$$ Obtenemos $$f(\phi) =24\cos^2\phi-16\cos^4\phi-4\tag{2}$$ y luego $$f'(\phi)=-16\cos\phi\sin\phi(3-4\cos^2\phi)\ .$$ Hay ocho ceros de $f'$ que proviene de las ecuaciones $\cos\phi=0$ , $\>\sin\phi=0$ , $\>\cos\phi=\pm{\sqrt{3}\over2}$ . Esto significa que la función $f$ definido en $(2)$ tiene ocho puntos críticos. Hay que calcular el valor de $f$ en todos estos puntos, y seleccionar el mayor de estos valores, si es $>0$ . En caso contrario, el máximo de $u$ está en el origen.
Parece que, por ejemplo, para $\phi={\pi\over6}$ tenemos un máximo. Por lo tanto, consideramos el punto $$(x_0,y_0):=\bigl(2\cos{\pi\over6},2\sin{\pi\over6}\bigr)=\bigl(\sqrt{3},1\bigr)\ .$$ Utilizando $(1)$ encontramos $$\nabla u(x_0,y_0)=\bigl(4\sqrt{3},4\bigr)\ .$$ Desde $\partial B_2$ es un círculo centrado en el origen la normal unitaria $\nu$ en $(x_0,y_0)$ no es otra cosa que $$\nu=\left(\cos{\pi\over6},\sin{\pi\over6}\right)=\left({\sqrt{3}\over2},{1\over2}\right)\ .$$ Por lo tanto, obtenemos $${\partial u\over\partial \nu}(x_0,y_0)=\langle\,\nabla u(x_0,y_0), \>\nu\,\rangle=4\sqrt{3}\cdot {\sqrt{3}\over2}+4\cdot {1\over2}=8\ .$$