Responderé a la primera parte de la pregunta y daré una pista para la segunda.
Por el principio del módulo máximo, $\left|P(z)\right|$ no alcanza ningún máximo en el dominio $|z|<r$ (Estoy asumiendo $n>0$ Así que $P$ no es constante). Sin embargo, como función continua, alcanza un máximo en el dominio compacto $|z|\le r$ . Esto implica que $\max_{|z|\leq r}\left|P(z)\right| = \max_{|z|=r}\left|P(z)\right| = M(r,P)$ y no se consigue en ninguna parte de $|z|<r$ .
En particular, para todos $|z_0| < r$ tenemos $$\left|P(z_0)\right| \leq \max_{|z|\leq |z_0|}\left|P(z)\right| < \max_{|z|=r}\left|P(z)\right| = M(r,P)$$ Dicho de otro modo, para $r<R$ y todos $|z|=r$ tenemos $\left|P(z)\right|<M(R,P)$ . Una consecuencia directa es que $M(r,P)<M(R,P)$ .
Para la segunda parte, como se menciona en los comentarios, podemos desarrollar $$\frac{M(r,P)}{r^n} = \sup_{|z|=r}\left|\frac{1}{z^n}P(z)\right| = \sup_{\left|\frac{1}{z}\right|=\frac{1}{r}}\left|Q\left(\frac{1}{z}\right)\right|$$ para un polinomio diferente $Q(z)$ (¿cuál?). Ahora podemos utilizar la parte (a) para concluir (¿cómo?).