No. Por ejemplo, dejemos que $Y$ sea cualquier espacio que no sea localmente conexo, y sea $X=Y\cup\{x\}$ donde $x$ es un nuevo punto y un subconjunto de $X$ es abierto si está vacío o tiene la forma $U\cup\{x\}$ donde $U\subseteq Y$ está abierto. Entonces dos subconjuntos abiertos no vacíos de $X$ se cruzan, por lo que $X$ es trivialmente conectada localmente. Pero $X\setminus\{x\}=Y$ no está conectado localmente.
Es cierto si $X\setminus\{x\}$ está abierto en $X$ (en particular, si $X$ es $T_1$ ), ya que cualquier subespacio abierto de un espacio localmente conexo es localmente conexo (basta con restringir sus bases locales conexas en cada punto a los conjuntos que están contenidos en el subespacio).