Caso 1: X es diagonal
El determinante es igual a $\prod_i f(d_i)$ donde $f$ es el polinomio de la pregunta y $d_i$ son las entradas diagonales.
Caso 2: X es diagonalizable
En este caso, f(X) también es diagonalizable, ya que $PX^kP^{-1}=(PXP^{-1})^k$ por lo que la afirmación se deduce del caso 1.
Caso 3: X es arbitrario
Afirmo que el conjunto de matrices diagonalizables es denso en el espacio de todas las matrices. De aquí se deduce la afirmación del caso 2. Para establecer la afirmación, dejemos que DM denote el espacio de las matrices diagonalizables de un tamaño determinado. Nótese que una matriz es diagonalizable si tiene valores propios distintos, es decir, las raíces del polinomio característico $\phi_X(t)$ son distintos. Este es el caso exactamente cuando $gcd(\phi_X, \phi'_X)=1$ que a su vez es el caso exactamente cuando $Res(\phi_X, \phi'_X)\ne 0$ , donde $Res$ es una cierta función polinómica universal (es decir, que no depende de X) de los coeficientes de $\phi_X$ y $\phi_X'$ , llamada la Resultante. Definir el mapa $F$ por $F(X)=Res(\phi_X, \phi'_X)$ . Resumiendo, tenemos $ F^{-1}(\mathbb{R}-\{0\})\subset DM$ . Dicho de otra manera, $DM^c\subset F^{-1}(0)$ . Pero $F(X)$ es una función polinómica de los elementos de $X$ lo que significa que $F^{-1}(0)$ está cerrado por Zariski. Cualquier conjunto abierto de Zariski no vacío es denso de Zariski, por lo que en particular DM contiene un subconjunto denso de Zariski. Por último, $Det(X^p+...+I)$ es una función polinómica de las entradas de $X$ por lo que es continua en la topología de Zariski.