Sí, esto es cierto y se puede afirmar de manera un poco más abstracta. Aquí hay una prueba que no utiliza el algoritmo de división.
Lema. Sea $R$ un anillo conmutativo unitario y $R[x]$ sea el anillo de polinomios univariable sobre $R$. Para $\alpha \in R$, sea \begin{align*} \varphi = \text{eval}_\alpha: R[x] &\to R\\ x &\mapsto \alpha \end{align*} sea el homomorfismo de evaluación. Entonces $\ker(\varphi) = (x-\alpha)$ y el mapa inducido $\overline{\varphi}: R[x]/(x-\alpha) \to R$ es un isomorfismo.
Nota que $\ker(\varphi) = \{f \in R[x] : f(\alpha) = 0\}$.
Prueba. Ciertamente $(x - \alpha) \subseteq \ker(\varphi)$, por lo que queda demostrar la inclusión inversa. Dado $f = \sum_{i=0}^n a_i x^i \in \ker(\varphi)$, entonces $$ 0 = f(\alpha) = \sum_i a_i \alpha^i \, . $$ Podemos reescribir $f$ como un polinomio en $x-\alpha$ escribiendo $x = (x - \alpha) + \alpha$ y usando el teorema binomial: \begin{align*} f &= \sum_{i=0}^n a_i x^i = \sum_{i=0}^n a_i ((x - \alpha) + \alpha)^i = \sum_{i=0}^n a_i \sum_{j = 0}^i \binom{i}{j} (x-\alpha)^j \alpha^{i-j}\\ &= \sum_{i=0}^n a_i \sum_{j = 0}^n \binom{i}{j} (x-\alpha)^j \alpha^{i-j} = \sum_{j = 0}^n \underbrace{\left(\sum_{i=0}^n a_i \binom{i}{j} \alpha^{i-j}\right)}_{b_j} (x-\alpha)^j = \sum_{j=0}^n b_j (x - \alpha)^j \end{align*>
(Nota que $\binom{i}{j} = 0$ para $j > i$, lo que nos permite cambiar el límite superior de la suma interna de $i$ a $n$). Dado que $f(\alpha) = 0$, entonces $$ b_0 = \sum_{i=0}^n a_i \binom{i}{0} \alpha^{i-0} = \sum_{i=0}^n a_i \alpha^i = f(\alpha) = 0 \, . $$ Dado que $b_0 = 0$, entonces cada término en $f = \sum_{j=0}^n b_j (x - \alpha)^j$ tiene un factor de $x - \alpha$, por lo que $f \in (x - \alpha)$.
Esta idea también funciona en anillos de polinomios multivariables; consulta aquí para la prueba.