Veamos la conservación del momento con respecto al marco del suelo (como se hace en el libro de French). $$(m+\Delta m)v = m(v+\Delta v) + \underbrace{\Delta m (v-v_0)}_{\text{not exact}} \tag{1}$$
Hay un matiz aquí porque $v_0$ es la velocidad de salida de las partículas de combustible quemado con respecto al marco de referencia del cohete. Y sabemos que la velocidad del cohete cambia con el tiempo. Por lo tanto, el término con el subrayado en la ecuación $(1)$ es una aproximación y no puede ser válida cuando la masa $\Delta m$ se libera continuamente con la velocidad de salida $v_0$ con respecto al marco del cohete.
La hipótesis : En el intervalo de tiempo $\Delta t$ la velocidad del cohete $v$ no ha cambiado mucho ( $\Rightarrow \Delta v/v_0 << 1$ ). Como el intervalo de tiempo $\Delta t$ se hace cada vez más pequeño, la situación se hace cada vez más equivalente al caso de un trozo de masa $\Delta m$ (como un todo) desprendiéndose del cohete con velocidad $(v-v_0)$ en el momento $t+\Delta t$ para el que conocemos la ecuación $(1)$ es exacta.
$\mathbf{\text{EDIT (Response to comments are made here)}} :$
Si aplicamos la conservación del momento en el marco de referencia del cohete obtenemos (en magnitudes) $$\Delta m v_0 = m \Delta v \tag{2}$$
Seamos precisos. Ecuación $(2)$ (que proviene de la conservación del momento) se calculó en un marco inercial (llámese $S$ ) que se encontraba en movimiento con el cohete en el momento $t$ el cohete estaba en reposo con respecto a este marco en el momento $t$ (y el tiempo $t$ solo). En el momento $t+\Delta t$ observamos que el cohete se mueve a una velocidad $\Delta v$ en este marco. Este marco es diferente del marco no inercial que está unido al cohete en todo momento (llámalo $S'$ ). Si esta distinción está clara, te darás cuenta de que no es apropiado llamar a $S$ como el "marco del cohete". Ahora, vamos a tu pregunta.
Ecuación $(2)$ es exactamente cierto sólo cuando todo el $\Delta m$ es expulsado continuamente del cohete con velocidad $v_0$ en el marco $S$ . Pero no es el caso por la misma razón que he explicado anteriormente (la velocidad del cohete está cambiando). El combustible se expulsa continuamente a la velocidad $v_0$ sólo en el marco $S'$ que está unido al cohete.