La bala de cañón de Newton aparentemente se aplica aquí, lo cual sospecho es la base de tu pregunta.
Un cuerpo en órbita sin propulsión revisitara su posición, por lo que cualquier cosa que haya sido disparada desde la superficie de la Tierra debe regresar a la Tierra. Eso es correcto.
Sin embargo, la cuestión aquí es la falta de propulsión. Si algo interfiere con este objeto en su órbita, puede alterar su trayectoria.
Como ejemplo simple de pensamiento: si lanzo una pelota hacia arriba, volverá a caer. No "rebotará" en el aire. Lanzamiento, hacia arriba, hacia abajo, aterrizaje. Esa es la secuencia de eventos.
Pero si lanzo una segunda pelota y logro golpear la primera pelota con ella, puedo alterar su trayectoria, potencialmente cambiándola de movimiento descendente a movimiento ascendente nuevamente. Con la fuerza y el momento adecuados (y una altitud no atmosférica), la primera pelota podría cambiar su trayectoria hacia una órbita sostenible.
Es importante darse cuenta de que todos estos fragmentos se estaban golpeando constantemente, alterando la trayectoria. Los fragmentos que subieron golpearon a los que bajaron. Aunque las probabilidades de golpear al otro fragmento con la fuerza exacta para que uno (o ambos) logren órbitas son bastante bajas, había muchos fragmentos.
Dada la ley de los grandes números, es estadísticamente probable que un subconjunto de los fragmentos logren una órbita lo suficientemente estable. Todo lo demás cayó de vuelta o escapó de la gravedad terrestre.
También hay que tener en cuenta que el polvo no necesitaba lograr una órbita cercana a circular. Lo más correcto sería decir que la órbita actual de la Luna es básicamente un promedio de todas las trayectorias de las partículas de polvo, que básicamente se promediaron a medida que impactaban unas con otras y se convertían en un solo objeto.
Estas trayectorias originales de polvo podrían haber sido muy diferentes entre sí, y es una suposición razonable pensar que efectivamente lo fueron antes de formar la Luna.