a) Un ideal es primo si y sólo si el cociente del anillo se define es un dominio. En este caso, el cociente es $\dfrac{k[x,y,z]}{(xy-z^2)}/(\overline y, \overline z)\cong k[x]$, lo que es claramente un dominio.
b) $X\setminus Y$ es la de complementar a $Y$ en la topología de Zariski. Mirando a $X, Y$ clásica como variedades (Hartshorne dice "establecer teóricamente"), podemos ver que $Y$ está definido por $\overline y=0$, lo que implica que el complemento es $X\setminus Y = X\setminus V(\overline y) = D(\overline y)$. La topología de $X$ es determinado conjunto-en teoría, por lo tanto el complemento del esquema teórico divisor de $\overline y$ aún está determinado por el mismo subconjunto.
Por lo tanto, $X\setminus Y$ es definida por la localización de la $\left(\dfrac{k[x,y,z]}{(xy-z^2)}\right)_{\overline y} = \dfrac{k[x,y, y^{-1},z]}{(xy-z^2)}\cong k[y,y^{-1},z]$ en la función de $\overline y$.
c) El divisor de $\overline y$ está dado por la fuga de $\overline y$, que podemos ver como el cociente $\dfrac{k[x,y,z]}{(xy-z^2)}/(\overline y) = \dfrac{k[x,z]}{(z^2)}\cong k[x]\otimes_k k[z]/(z^2)$. Pero esto es sólo $Y$ con multiplicidad dos dada por la nilpotent $z$ plazo.