Viene de la ley electrostática de Coulomb:
$$F = \frac{1}{4\,\pi\,\epsilon_0}\,\frac{q_1\,q_2}{r^2}$$
para la fuerza entre dos cargas $q_1,\,q_2$ separadas por una distancia $r$.
Entonces $(4\,\pi\,\epsilon_0)^{-1}$ es simplemente la fuerza entre dos cargas de un culombio cada una separadas a una distancia de 1 metro. El término ${\rm C^2}$ en la definición de la unidad significa que si una de las cargas se multiplica por un factor, la fuerza escala de manera proporcional: si ambas se multiplican por el mismo factor, la fuerza escala por ese factor al cuadrado (observa el lado derecho de la ecuación). Asimismo, el término ${\rm m^{-2}}$ en la definición significa que la fuerza escala inversamente con la distancia al cuadrado (de igual manera un término de presión tiene $m^{-2}$ en sus unidades porque si se multiplican las longitudes de los lados del cuadrado sobre el que actúa la fuerza, se disminuirá la fuerza por ese factor al cuadrado). Así que si reorganizas la ecuación como $F r^2\,q_1^{-1}\,q_2^{-1} = (4\,\pi\,\epsilon_0)^{-1}$ ambos lados deben tener las mismas unidades, de ahí las unidades que ves.
En cuanto al porqué llamamos a la constante de escala $(4\,\pi\,\epsilon_0)^{-1}$ en lugar de algún constante simple $G`, bueno eso es simplemente una cuestión de gusto. Hace que otra forma de la ley (ley de Gauss) sea más fácil de escribir. Pero un sistema perfectamente definido de constantes físicas podría haber sido definido con la constante definida de forma "más simple". De hecho, en la ley de gravitación universal de Newton (que también es una ley de inverso del cuadrado), ¡ese es el camino que los volubles físicos históricamente hemos elegido tomar!