Aquí, en realidad se da en el problema que
$Q(x,y)$ se maximiza en $(x,y)=(1,0)$ ,
así que cuando $(x,y)$ se reparametriza como $(\cos(t),\sin(t))$ ya que $(x,y)$ se limitan al círculo unitario, cuyos puntos también tienen la misma forma paramétrica con $t\in [0,2\pi)$ dando todos los puntos, es decir $Q(.)$ en función de $t$ lo anterior es lo mismo que decir que
$Q(t)$ se maximiza en $t=0$ o $t=2\pi$ , y ambos puntos son puntos máximos válidos como has observado, por el teorema del valor extremo, si consideras $t\in[0,2\pi]$
Para llegar a $b=0$ en realidad hay que realizar la derivada con respecto a $t$ y luego igualarlo a $t=0$ y $t=2\pi$ a $0$ .
Aquí es donde la región extra de $(-\epsilon,0)\cup (2\pi,2\pi+\epsilon)$ porque si sólo se tiene en cuenta $Q(t)$ con el dominio restringido a $[0,2\pi]$ entonces $Q(t)$ no es diferenciable en los extremos de su dominio, porque el límite izquierdo $\lim\limits_{h\rightarrow 0-} \dfrac{Q(0+h)-Q(0)}{h}$ no está definido (es decir, en $t=0$ ) y el límite derecho $\lim\limits_{h\rightarrow 0+} \dfrac{Q(2\pi+h)-Q(2\pi)}{h}$ no está definido, a menos que el dominio de $t$ contiene alguna región a la izquierda de $t=0$ y a la derecha de $t=2\pi$ e incluso si se consideran derivadas unilaterales, no es difícil encontrar una función que tenga derivada $\ne 0$ en el punto donde alcanza el máximo, como $f(x)=x^2, \ x\in [-1,2]$ . Esto se debe a que la prueba del hecho
$$\textit{derivative of a differentiable function is }0 \textit{ at it's extrema}$$
requiere acercarse al punto extremo desde ambos lados.
Por eso necesitas el relleno de $[0,2\pi)$ con algunos buenos viejos $\epsilon$ espesor en ambos lados.
