Otra forma es escribir como $\;\prod(1+\alpha^2) = \prod\big((1+i\alpha) \cdot (1-i\alpha)\big)=\prod(1+i\alpha) \cdot \prod(1-i\alpha)\,$.
Si $\,\alpha\,$ son las raíces de $\,P(x)\,$, entonces el polinomio $\,Q(z)\,$ con raíces $\,1+i \alpha\,$ es el resultado de la sustitución $\,1+ix = z$ $\iff x = i(1-z)\,$. Después de la rutina de los cálculos:
$$
Q(z) = P\big(i(1-z)\big) = z^4 - 4(1 - i) z^3 + 12(1 - i) z^2 - (16 - 5 i) z - (2 - 3 i)
$$
Se sigue de Vieta las relaciones que $\,\prod (1+i \alpha) = -(2-3i)\,$.
Por un argumento similar $\,\prod (1-i \alpha) = -(2+3i)\,$, así que al final,$\,\prod(1+\alpha^2)= |2-3i|^2=13\,$.
[
EDITAR ] Para el problema en particular aquí, realmente no necesita para determinar el $\,Q(z)\,$, pero acaba de encontrar el producto de sus raíces, es decir, el término constante $\,Q(0)\,$, que es un sencillo cálculo: $\,Q(0)=P(i)=i^4+4i^3-6i^2+7i-9=1+6-9+(-4+7)i=-2+3i\,$.