Obviamente, hay restricciones que pueden imponerse a $f$ y $g$ que garantizará que $h$ es continua. Por ejemplo, restrinja $f(x) = x^2, g(x) = x$ y oye, $h(x) = x$ que es continua. Por eso Jacky Chong califica el problema de demasiado amplio.
Pero es probable que la pregunta busque la condición más laxa posible que pueda imponerse a las funciones y aún así hacer que $h$ continua. Para ello, nos fijamos en lo que se necesita para $h$ sea continua. Obviamente, para $x \notin Z, h$ es continua en $x$ . Cuando $x \in Z$ sabemos que $h(x) = 0$ por lo que la continuidad requiere $\lim_{t \to x} h(t) = 0$ . Si ocurre que $x$ está en el interior de $Z$ (es decir, existe algún intervalo sobre $x$ que se encuentra totalmente dentro $Z$ ), entonces este límite tampoco es un problema ya que $h(t) = 0$ cuando $t$ se acerca lo suficiente a $x$ .
El problema se produce cuando $x$ se encuentra en el límite de $Z$ (es decir, para cualquier distancia dada de $x$ hay puntos fuera de $Z$ que estén al menos tan cerca de $x$ ). En este caso, tenemos que exigir $$\lim_{t\to x, t\notin Z} \frac{f(t)}{g(t)} = 0$$ Es decir, $f$ tiene que ir a $0$ más rápido que $g$ lo hace.