Tu intuición es buena, pero estás mezclando algunos fenómenos cuánticos y clásicos.
En la física clásica (es decir, no cuántica), un vacío es una región del espacio sin materia. Puedes tener campos electromagnéticos en un vacío, siempre y cuando las cargas que crean los campos estén en una región diferente. Del mismo modo, puedes tener campos gravitacionales en un vacío, generados por masas en otro lugar en el espacio. En esta descripción clásica del universo, no existen cosas como fotones o gravitones, y todo (en su mayor parte) funciona correctamente.
En la física cuántica, la historia no es tan fácil. Como dices, ahora nuestros campos de fuerza también son partículas (fotones y gravitones), ¿entonces tal vez un "vacío cuántico" tampoco debería incluirlos? Desafortunadamente, resulta que en la mecánica cuántica (como señaló Rob) es imposible tener un vacío perfecto, un estado sin partículas en absoluto. Una forma de ver esto es a través del principio de incertidumbre energía-tiempo: $\Delta E \ \Delta t > \hbar/2$.
Un vacío perfecto, un estado sin partículas en absoluto, debe tener una energía exactamente igual a cero. Si la energía es exactamente cero, entonces es completamente cierta, y $\Delta E = 0$ lo que viola el principio de incertidumbre. Así que el vacío cuántico no es un estado con cero partículas, es un estado con probablemente cero partículas. Y en diferentes situaciones puedes encontrar útil alterar tu definición de "probablemente," por lo que hay muchas cosas diferentes que los físicos llamarán "vacío" en la mecánica cuántica.
Esta idea, de que cuánticamente siempre hay algunas partículas alrededor en cualquier región del espacio, tiene algunas consecuencias interesantes que hemos verificado en el laboratorio! Una es el Efecto Casimir. Esta es una fuerza que aparece cuando mueves dos objetos en un vacío tan cerca el uno del otro que la presión de estos fotones "virtuales" hace que se atraigan. Otra es la partícula que descubrieron en el LHC, el Bosón de Higgs. El campo de Higgs tiene un "valor de expectación de vacío", un vacío cuántico perfecto tendrá un campo de Higgs no nulo en toda su extensión. ¡Las excitaciones de este campo son las partículas de Higgs encontradas en el LHC!