El siguiente es más fácil empezar con funciones que no tiene término constante, por lo que dicen
$$ \begin{eqnarray}
f_1(x) &=&a_1 x + b_1 x^2 + c_1 x^3 + ... \\
f_2(x) &=&a_2 x + b_2 x^2 + c_2 x^3 + ... \\
... \\
f_n(x) &= &a_n x + b_n x^2 + c_n x^3 + ... \\
\end{eqnarray} $$
Esto permite utilizar el concepto de "Carleman"- o "Campana"-matrices para la composición de funciones.
Definimos un Carlemanmatrix para las funciones anteriores, por ejemplo, $F_k$ $f_k(x)$ de manera tal que las columnas contienen los coeficientes de las sucesivas potencias de$f_k$ comenzando por la de $f_k(x)^0, f_k(x),f_k(x)^2,...$ cuando es obvio que tenemos que hacer con infinita del tamaño de las matrices! Pero las matrices vienen a ser triangular, de modo que más tarde podamos operar con ellos. Por ejemplo , $F_1$ parece
$$ F_1 = \pequeño \begin{bmatrix}
1 & . & . & . & . & \cdots \\
0 & a_1 & . & . & . & \cdots \\
0 & b_1 & a_1^2 & . & . & \cdots \\
0 & c_1 & 2 a_1 b_1 & a_1^3 & . & \cdots \\
0 & d_1 & b_1^2+2 c_1 a_1 & 3 a_1^2 b_1 & a_1^4& \cdots \\
\vdots & \vdots & \vdots & \vdots & \vdots & \ddots
\end{bmatrix} $$
Vemos en las columnas de los coeficientes de las potencias del poder formal de la serie de $f_1$.
Ahora con un "Vandermonde"-vector $V(x)=[1,x,x^2,x^3,...]$ el dotproduct $V(x) \cdot F_1 $ da a la evaluación de la función $f_1(x)$ y todos los de su (no negativo) poderes:
$$ V(x) \cdot F_1 = [1,f(x),f(x)^2,f(x)^3,...] = V(f(x)) $$
La pista está aquí, que el resultado es de nuevo de la "Vandermonde"-tipo y que por lo tanto, podemos proceder con la función siguiente y así sucesivamente ...
A continuación, la composición de las funciones $g(x) = f_3 \circ f_2 \circ f_1 (x)$ tiene simplemente el Carlemanmatrix $G$ que es
$$ G = F_1 \cdot F_2 \cdot F_3 $$
To exercise with this it is -in the software Pari/GP- easy to define appropriate vector- and even matrix-functions for some finite size $n$:
f1(x)= 'a1*x + 'b1*x^2+'c1*x^3+'d1*x^4+ O(x^5) \\ actually you would
f2(x)= 'a2*x + 'b2*x^2+'c2*x^3+'d2*x^4+ O(x^5) \\ give some concrete values
f3(x)= 'a3*x + 'b3*x^2+'c3*x^3+'d3*x^4+ O(x^5) \\ for the symbols 'a,'b,...
V(x,n)=vector(n,r,x^(r-1))
Carleman(x,n)=matrix(n,n,r,c,...)
where the latter function can accept a function written as truncated powerseries and then
F1 = Carleman(f1(x))
F2 = Carleman(f2(x))
F3 = Carleman(f3(x))
G = F1 * F2 * F3
print(Ser(G[,2])) \\ shows the notation of the power series of g(x)
and approximate results can be computed if the series converge well and the size of the matrices and vectors are sufficient just by
x = 0.5 \\ give some initial value which gives reasonable approximation
y1 = V(x )*F1[,2]) \\ shows evaluation of f1 at some value x
y2 = V(y1)*F2[,2]) \\ shows evaluation of f2 at the value y1=f1(x)
y3 = V(y2)*F3[,2]) \\ shows evaluation of f3 at the value y2=f2(f1(x))
g = V(x) * G[,2] \\ g and y3 should be identical
(If you want to keep things symbolic then reduce the matrix-size to 4 or 5 - the composition creates huge stuff of terms!)
It is hopeless to try to write out the resulting coefficients for an indeterminate number of functions $f_k(x)$, but for the composition of, say 3 functions, the top left part of $G = F_1 \cdot F_2 \cdot F_3$ parece
$$ \Tiny \begin{array} {}
1 & . & . & . \\
0 & a_3 a_2 a_1 & . & . \\
0 & a_3 a_2 b_1+a_3 a_1^2 b_2+a_2^2 a_1^2 b_3 & a_3^2 a_2^2 a_1^2 & . \\
0 & (2 a_3 a_1 b_2+2 a_2^2 a_1 b_3) b_1+2 a_2 a_1^3 b_3 b_2+(c_3 a_2^3+c_2 a_3) a_1^3+c_1 a_3 a_2 & 2 a_3^2 a_2^2 a_1 b_1+2 a_3^2 a_2 a_1^3 b_2+2 a_3 a_2^3 a_1^3 b_3 & a_3^3 a_2^3 a_1^3
\end{array}
$$
La n-esima derivados de $g(x)$ están ahora en la segunda columna, por ejemplo
$ \displaystyle \qquad g'(x) = a_3 a_2 a_1 \\
\qquad g"(x)/2! = a_3 a_2 b_1+a_3 a_1^2 b_2+a_2^2 a_1^2 b_3 \\
\qquad g"'(x)/3! = (2 a_3 a_1 b_2+2 a_2^2 a_1 b_3) b_1+2 a_2 a_1^3 b_3 b_2+(c_3 a_2^3+c_2 a_3) a_1^3+c_1 a_3 a_2 \\
$
Observación complementaria: en el caso de la auto-composición de funciones, en este caso todos los $f_k(x)$ son los mismos que hemos funcional de la iteración y para esto me he hecho un esquema para indeterminado iteración de altura (pero esto no fue solicitado en el OP)