Esta pregunta me parece muy interesante. Tengo dos pequeñas observaciones.
En primer lugar, siguiendo con mi comentario, la respuesta es definitivamente no en el caso de que permitas coeficientes reales y quieras la respuesta en tiempo finito. Parece natural suponer que se nos da la forma de los dos polinomios, y luego también se nos dan los coeficientes como oráculos. Tal vez nos den una secuencia infinita de aproximaciones racionales a ellos, con una tasa de convergencia conocida. La dificultad es que, en principio, es imposible calcular en tiempo finito si dos oráculos son iguales. (Si hasta ahora parecen iguales, no se puede decir "son iguales" en ningún momento finito, ya que puede surgir una diferencia en algún momento posterior que nunca se inspeccionó). Del mismo modo, es imposible en principio determinar si un oráculo es $0$ o no en un tiempo finito.
Supongamos que podemos decidir su problema. Ahora, dado un real $a$ construye los dos polinomios $p(x)=0$ y $q(x)=ax$ . En el caso de que $a=0$ , entonces los conjuntos solución de estos polinomios son homeomorfos, ya que los polinomios son ambos el polinomio cero. Pero en el caso de que $a\neq 0$ entonces no son homemórficos, ya que cada $x$ resuelve $p$ pero sólo $x=0$ resuelve $q$ . Por lo tanto, el problema de la prueba cero se reduce a su problema, y por lo tanto su problema no es decidible.
Pero como mencioné en mi comentario, creo que en el caso de los coeficientes reales no esperábamos realmente obtener una respuesta en tiempo finito. Por eso es natural considerar la cuestión de lo que ocurre con los coeficientes racionales, donde el algoritmo tiene acceso completo a todo el sistema.
Aquí, no tengo una respuesta, sino que simplemente ofrezco la observación de que si de alguna manera la pregunta es expresable en el lenguaje de la estructura de primer orden $\langle R,+,\cdot,0,1,\lt\rangle$ es decir, en el lenguaje de los campos reales-cerrados, entonces será decidible por Teorema de Tarski que afirma que la teoría de esta estructura es decidible. Tenemos un procedimiento computable que responde a cualquier pregunta de primer orden sobre esta estructura. Pero no estoy seguro de que tu problema sea expresable en este lenguaje, y sospecho que no lo es. Así que mientras tanto esperaré a que los geómetras algebraicos lo resuelvan.