Los problemas de este tipo que provienen de los libros suelen ser vulnerables a algunos argumentos metamatemáticos. Un principio básico es que, para aplicar el teorema de Rouché, nunca se espera que cuentes el número de ceros de ningún polinomio que no puedas resolver explícitamente. Además, en la aplicación real del teorema de Rouché, rara vez necesitarás usar algo más complicado que la desigualdad del triángulo para establecer la desigualdad requerida. En la práctica esto significa que esperas demostrar algo como
$$ |\text{complicated}| < |\text{simple}|. $$
Otra regla general es que las potencias mayores de $z$ son menores en el círculo unitario y potencias menores de $z$ son menores fuera del círculo unitario en comparación con el resto del polinomio.
Para este problema en particular, si quisiera saber cuántos ceros hay dentro del círculo unitario, supondría que el polinomio dominante $q(z)$ en la desigualdad $|p(z)| < |q(z)|$ es $2$ ou $10z+2$ ou $10z$ ya que las potencias más pequeñas son más importantes en el círculo unitario. Por comodidad probaremos $10z$ primero.
El polinomio $10z$ tiene un cero en $z=0$ que se encuentra dentro del círculo unitario. Ahora bien $|z| = 1$ tenemos
$$ \begin{align} \left|z^6-6z^2+2\right| &\leq 1+6+2 \\ &= 9 \\ &< 10 \\ &= 10 |z| \\ &= |10z|, \end{align} $$
y podemos concluir del teorema de Rouché que $z^6 - 6z^2 + 10z + 2$ tiene exactamente un cero en el disco $|z| \leq 1$ . Si quieres puedes comprobar que también es cierto que
$$ \left|z^6-6z^2\right| < |10z+2| $$
en el círculo unitario, así que podríamos haber seguido ese camino en su lugar.
Para hallar el número de ceros en $|z| \leq 2$ empezaremos desde el otro extremo y esperamos que $z^6$ domina en el círculo $|z| = 2$ . Tenga en cuenta que $z^6$ tiene un cero de multiplicidad $6$ en $z=0$ (así que, efectivamente, tiene $6$ ceros), que se encuentra dentro del círculo $|z| = 2$ . En $|z| = 2$ tenemos
$$ \begin{align} \left|-6z^2+10z+2\right| &\leq 6 \cdot 2^2 + 10 \cdot 2 + 2 \\ &= 46 \\ &< 64 \\ &= 2^6 \\ &= \left|z^6\right|, \end{align} $$
por lo que a partir del teorema de Rouché sabemos que $z^6 - 6z^2 + 10z + 2$ tiene todos $6$ ceros en el disco $|z| < 2$ .
Por lo tanto, el número de ceros del polinomio en el anillo $1 < |z| < 2$ es $6-1 = 5$ .