Recordemos el enunciado del teorema:
Teorema: (Rouché) Let $A$ sea una región delimitada por un bucle simple $\gamma$ . Si $f(z)$ y $g(z)$ son analíticas en una vecindad abierta de $A$ y $|f(z)|>|g(z)|$ en $\gamma$ entonces $f(z)$ y $f(z)+g(z)$ tienen el mismo número de ceros dentro $A$ .
Círculo |z|=1: Sea $p(z)=z^4+z^3-4z+1$ sea su polinomio. Primero contemos el número de ceros dentro del disco $|z|=1$ . Desde $$|-4z|\geq 3\geq |z^4+z^3+1|,$$ sabemos que habrá un cero en esta región aplicando el Teorema de Rouché con $f=-4z$ .
Círculo |z|=2: Para hallar el número de ceros dentro del círculo $|z|=2$ tenemos que ser un poco más delicados. Obsérvese que tenemos la milagrosa identidad
$$p(z)=\left(z^4+z^3-z^2-z\right)+\left(z^2-3z+1\right)=z(z-1)(z+1)^2+(z+1)^2-z.$$
Con alguna manipulación de desigualdades tenemos también el siguiente lema
Lema: La desigualdad $$2|z-1||z+1|^2> |z+1|^2+2$$ es válido para $|z|=2$ .
Considere $f(z)=z(z-1)(z+1)^2$ y $g(z)=(z+1)^2-z$ en el Teorema de Rouché. Cuando $|z|=2$ tenemos ambos $$|(z+1)^2|+2\geq |(z+1)^2-z|,$$ y $$|z(z-1)(z+1)^2|\geq 2|(z-1)(z+1)^2|.$$ Por lo tanto, por el lema $|f(z)|>|g(z)|$ para $|z|=2$ para que $p(z)$ tiene cuatro raíces dentro del disco $|z|=2$ .
Conclusión: Como no hay ceros con $|z|=2$ o $|z|=1$ concluimos que hay $3$ ceros en la región $1<|z|<2$ .
Espero que le sirva de ayuda,
