Observación: Para mí, si permites $\infty$ entonces lo anterior es una afirmación nula, ya que vale para cualquier función bien definida $f$ Así que digo $\delta<\infty$ .
Dicho esto, la prueba es bastante fácil.
Sea $A$ sea cualquier intervalo acotado centrado en $a$ . Entonces existe alguna $\epsilon_0$ tal que $A\subset \{x\mid |x-a|<\epsilon_0\}$ pero entonces existe algún $\delta(\epsilon_0)$ tal que $$|f(x)-L|<\delta(\epsilon_0),$$ es decir, la función $f\big|_A$ está limitada por $L+\delta(\epsilon_0)<\infty.$
Esta misma dirección también se puede demostrar de la siguiente manera: Supongamos $f$ es ilimitado en algún $\epsilon$ barrio de $a$ Llámalo $A$ . Entonces $$|f(x)-L|\geq|f(x)|-|L|$$ tampoco tiene límites, por lo que no puede existir ningún $\delta<\infty$ que cumple la condición para el $\epsilon$ .
La otra dirección tampoco es demasiado difícil.
Sea $\epsilon_0>0$ y que $B:=\{x\mid |x-a|<\epsilon_0\}$ . Tenga en cuenta que $B$ entonces como $f$ está limitada en $B$ por definición existe alguna $\delta(\epsilon_0)$ tal que $$f(B)\subset (-\delta(\epsilon_0),\delta(\epsilon_0)).$$ Ahora elija (por ejemplo) $L=0$ y ya está, como ha comprobado, para cualquier $\epsilon$