Parte de tu confusión está en la fórmula que has escrito. Según la página de Química General de Tanner La Ecuación de van der Waals, si estás considerando 1 mol de una sustancia, entonces la fórmula es
$$(P+a/V^2)(V-b) = RT$$
Para $n$ moles
$$(P+an^2/V^2)(V-nb) = nRT$$
En el sitio web Science HQ Ecuación de Van der Waals, las constantes $a$ y $b$ representan correcciones de presión y volumen respectivamente. Las unidades se basan en la fórmula para $n$ moles de sustancia (la 2da ecuación de arriba).
Tomando cada término en el lado izquierdo individualmente:
$(P+an^2/V^2)$ es la equivalente de la ecuación de van der Waals para $P$ en la ecuación de gas ideal, por lo tanto, este término debe tener la misma unidad, por lo que usar $Pa$ como unidad de presión requeriría que las unidades de $a$ fueran $Pa L^2 mol^{-2}$ (el sitio web usa la unidad $atm$, pero la idea sigue siendo la misma.
De manera similar, el término $(V-nb)$ es el equivalente de van der Waals de $V$ en la ecuación de gas ideal. Por lo tanto, para mantener la unidad como para el volumen en el segundo término, la unidad para $b$ debe ser $Lmol^{-1}$.
Una cosa en la que siempre debes tener cuidado, ya que hay varias unidades utilizadas tanto para la presión como para el volumen, es imperativo mantener estas constantes a lo largo de tus cálculos.
Por ejemplo, el volumen puede expresarse como $m^3$ o $L$ y varias otras (por lo tanto, el término $L^2$ arriba sería lo mismo que $(m^3)^2$ o simplemente $m^6$).
Un último documento es una lista maestra de constantes $a$ y $b$ para varios productos químicos (una vez más, ten cuidado con las unidades: las conversiones de unidades se proporcionan en el documento), constantes de van der Waals para gases. Además, más explicaciones de lo anterior se pueden encontrar en esta página de la Universidad de Purdue titulada Desviaciones del Comportamiento de la Ley de los Gases Ideales