Si comienzas con el polinomio $a=b=0$, entonces el polinomio siempre será $x^2$ y así el proceso continuará para siempre. Sin embargo, en todos los demás casos, terminará en un número finito de pasos.
Primero, supongamos que $b=0$ y $a\neq 0$. Si $a<0$, el siguiente polinomio es $x^2-a$, el cual no tiene raíces reales. Si $a>0$, el siguiente polinomio es $x^2-ax$ y luego el siguiente polinomio es $x^2+a$, el cual tampoco tiene raíces reales.
Ahora, supongamos que $b\neq0$. Notemos que entonces el polinomio inicial no tiene al $0$ como raíz, y consecuentemente ninguno de los otros tampoco (ya que el coeficiente constante nunca es $0$). Supongamos que el proceso continúa para siempre y digamos que los polinomios son $x^2+ax+b$, $x^2+p_0x+q_0$, $x^2+p_1x+q_1$, $x^2+p_2x+q_2$, y así sucesivamente.
Notemos primero que los signos de los coeficientes $(p,q)$ siguen un ciclo $$(-,-)\to(-,+)\to (+,+)\to (-,-).$$ Por ejemplo, si $p_n$ y $q_n$ son ambos negativos, entonces las raíces de $x^2+p_nx+q_n$ tienen signos opuestos (ya que su producto $q_n$ es negativo), por lo que $p_{n+1}$ es negativo y $q_{n+1}$ es positivo.
Analizaremos ahora cómo cambia el valor absoluto del coeficiente lineal en este ciclo. Si $p_n$ y $q_n$ son negativos, entonces $p_{n+1}<0 y $p_{n+1}+q_{n+1}=-p_n>0$, por lo que $|p_{n+1}|<|q_{n+1}|$. Así $$|p_{n+1}|<\sqrt{|p_{n+1}q_{n+1}|}=\sqrt{|q_n|}\leq\sqrt{|p_n|}.$$ Ahora supongamos que $p_n$ es negativo y $q_n$ es positivo. Entonces $0 y así $$|p_{n+1}|=p_{n+1}\leq \frac{p_{n+1}+q_{n+1}}{2}=\frac{-p_n}{2}=\frac{|p_n|}{2}.$$ Finalmente, supongamos que $p_n$ y $q_n$ son positivos. Entonces $p_{n+1}\leq q_{n+1}<0$ por lo que $$|p_{n+1}|<|p_{n+1}+q_{n+1}|=|-p_n|=|p_n|.$$
Vemos entonces que en todos los casos, $|p_{n+1}|\leq\max(|p_n|,1)$. Además, en cada tercer paso, $|p_{n+1}|\leq\frac{|p_n|}{2}$. Por lo tanto, para todo $n$ suficientemente grande, $|p_n|\leq 1$.
Seleccionemos ahora $n$ tal que $|p_n|\leq 1$ y $p_n$ y $q_n$ son positivos. Entonces tenemos que $$p_n^2-4q_n\leq p_n^2-4p_n<0.$$ Por lo tanto, el discriminante de $x^2+p_nx+q_n$ es negativo y no tiene raíces reales. Esto es una contradicción.