Para definir lo que es un $\epsilon$-entorno de un conjunto, necesitas alguna noción de distancia.
Cualquier espacio métrico es un espacio de Hausdorff. Si $Y$ es un subespacio compacto de un espacio de Hausdorff y $x \not \in Y$, entonces existen conjuntos abiertos disjuntos $U$ y $V$ que contienen a $x$ y a $Y$ respectivamente.
Utilizando todos esos resultados, finalmente podemos definir nuestro $\epsilon$. Considera todos los puntos $x$ en el complemento de la cobertura $O$. La cantidad: $$\epsilon_m = \min_x \{ d(C, x) \} $$ Siempre está bien definida y mayor que cero. Si fuera cero, habría un $x$ con distancia cero entre él mismo y $C$, pero esto contradice el hecho de que hay dos conjuntos abiertos disjuntos que los separan.
Puedes comprobar por ti mismo que todos los números en el intervalo $(0, \epsilon_m)$ pueden ser utilizados para definir un $\epsilon$-entorno de $C$ contenido en $O$.
El problema con este enfoque es que no funcionará con espacios topológicos que no sean espacios de Hausdorff.