Sí, esa es esencialmente la idea.
Pero esto se deduce de la definición de continuidad: basta con demostrar que si $f$ es continua en $g(a)$ y $g$ es continua en $a$ entonces $f\circ g$ es continua en $a$ . Porque entonces ambas partes evalúan a $f(g(a))$ por definición de continuidad (que requiere que el límite exista y sea igual a la evaluación de la función en el punto.
Para demostrar que si $g$ es continua en $a$ y $f$ es continua en $g(a)$ entonces $f\circ g$ es continua en $a$ En primer lugar, hay que tener en cuenta que $f\circ g$ se define en $a$ . Ahora, dejemos que $\epsilon\gt0$ . entonces sabemos que existe $\delta_1\gt 0$ de manera que si $|y-g(a)|\lt\delta_1$ entonces $|f(y)-f(g(a))|\lt\epsilon$ esto se mantiene, porque $f$ es continua en $g(a)$ .
Ahora bien, como $g$ es continua en $a$ y $\delta_1\gt 0$ Esto significa que existe $\delta\gt 0$ de manera que si $|x-a|\lt\delta$ entonces $|g(x)-g(a)|\lt\delta_1$ .
Así, si $|x-a|\lt\delta$ entonces $|g(x)-g(a)|\lt\delta_1$ y por lo tanto $|f(g(x))-f(g(a))|=|f\circ g(x) - f\circ g(a)|\lt\epsilon$ .
Así, para todos los $\epsilon\gt 0$ existe $\delta\gt 0$ de manera que si $|x-a|\lt\delta$ entonces $|f\circ g(x) - f\circ g(a)|\lt\epsilon$ . Por lo tanto, $f\circ g$ es continua en $a$ .
Por lo tanto, tenemos que $\lim\limits_{y\to g(a)} f(y) = f(g(a))$ ya que $f$ es continua en $g(a)$ y $\lim\limits_{x\to a}f\circ g(x) = f\circ g(a) = f(g(a))$ ya que $f\circ g$ es continua en $a$ .
No es necesario $g$ sea continua: si $\lim\limits_{x\to a}g(x)=L$ y $f$ es continua en $L$ entonces tenemos $$\lim_{x\to a}f\circ g(x) = \lim_{y\to L}f(y) = f(L).$$ Para comprobarlo, dejemos que $\epsilon\gt 0$ . Entonces existe $\delta_1\gt 0$ tal que para todo $x$ , $|y-L|\lt\delta_1$ implica $|f(y)-f(L)|\lt\epsilon$ . Desde $\lim\limits_{x\to a}g(x)=L$ existe $\delta\gt 0$ de manera que si $0\lt |x-a|\lt \delta$ entonces $|g(x)-L|\lt\delta_1$ . Entonces, supongamos que $0\lt |x-a|\lt\delta$ . Entonces $|g(x)-L|\lt\delta_1$ y por lo tanto $|f(g(x))-f(L)|\lt\epsilon$ . Por lo tanto, para cada $\epsilon\gt 0$ existe $\delta\gt 0$ de manera que si $0\lt |x-a|\lt\delta$ entonces $|f(x)-f(L)|\lt\epsilon$ . Esto demuestra que si $\lim\limits_{x\to a}g(x) = L$ y $f$ es continua en $L$ entonces $$\lim\limits_{x\to a}f\circ g(x) = \lim\limits_{y\to L}f(y) = f(L).$$ En particular, si $g$ es continua en $a$ , entonces sustituimos $L$ con $g(a)$ .
No podemos omitir la continuidad de $f$ en $L$ Sin embargo, toma $g(x) = 0$ para todos $x$ y que $$f(x) = \left\{\begin{array}{ll} 1 &\text{if }x\neq 0\\ 0 &\text{if }x=0. \end{array}\right.$$ Entonces $\lim\limits_{x\to a}f(g(x)) = 0$ porque $f(g(x))=f(0)=0$ . Pero $$\lim\limits_{y\to 0}f(y) = 1,$$ porque nunca tomamos el valor $y=0$ en la evaluación del límite.
Se puede sustituir la continuidad de $f$ con otras condiciones; por ejemplo, podemos pedir que $g$ tienen un límite $L$ en $a$ y, además, que para cada $\delta\gt0$ existe un $\eta\gt 0$ tal que $g$ toma todos los valores en $(L-\eta,L+\eta)$ , excepto tal vez $L$ mismo, en $(a-\delta,a+\delta)-\{a\}$ .
Añadido. La situación de los límites como $x\to\infty$ es esencialmente la misma si $\lim\limits_{x\to\infty}g(x)$ existe y es real. Es más complicado cuando el límite de $g$ es $\pm\infty$ . Ver esta respuesta para debatir sobre ello.