En primer lugar, por qué otras opciones no son realmente las opciones:
A El vinagre, al ser un ácido débil, no neutraliza el ácido sulfúrico y sólo lo diluye;
B Hidróxido de sodio sólido: el hidróxido de sodio sólido, una base fuerte, neutraliza el ácido sulfúrico, pero lo hace enérgicamente liberando una cantidad sustancial de calor por unidad de tiempo: $$\ce{2 NaOH(s) + H2SO4(aq) -> Na2SO4(aq) + 2 H2O(l)}$$ Utilizando sólido NaOH también es difícil garantizar que cubrirá el vertido y que no quedará ningún ácido sin reaccionar o un exceso de hidróxido (que es igualmente indeseable), ya que hay poca o ninguna pista visual de si la neutralización se ha completado, a menos que se prueben varios puntos con, digamos, papel pH.
D : La solución de sulfato de magnesio no reacciona con el ácido sulfúrico y sólo lo diluye.
En segundo lugar, la solución de bicarbonato sódico no sólo neutraliza el ácido
$$\ce{2 NaHCO3(aq) + H2SO4(aq) -> Na2SO4(aq) + 2 H2O(l) + 2 CO2(g)},$$
pero también puede ser (y debe ser !) utilizado en exceso para asegurar la neutralización completa del ácido. Una vez neutralizado el ácido, queda una solución de bicarbonato sódico y sulfato sódico que sólo es ligeramente básica debido a la hidrólisis de los cationes. Otra ventaja importante de utilizar $\ce{NaHCO3}$ es el control visual: una vez finalizado el proceso, la evolución del gas se detiene.