Para este problema, yo iría en la otra dirección:
$\begin{align} f^2(x) &= (\sum_{n=0}^{\infty} a_n x^n) (\sum_{m=0}^{\infty} a_m x^m)\\ &= \sum_{n=0}^{\infty} \sum_{m=0}^{\infty}a_n x^n a_m x^m\\ &= \sum_{n=0}^{\infty} \sum_{m=0}^{\infty}a_n a_m x^{n+m}\\ &= \sum_{i=0}^{\infty} \sum_{j=0}^{i}a_j a_{i-j} x^{i}\\ &= \sum_{i=0}^{\infty} x^i \sum_{j=0}^{i}a_j a_{i-j} \\ &= a_0^2+ 2 a_0 a_1 x + \sum_{i=2}^{\infty} x^i \sum_{j=0}^{i}a_j a_{i-j} \\ &= a_0^2+ 2 a_0 a_1 x + \sum_{i=2}^{\infty} x^i (2a_0 a_i + 2 a_1 a_{i-1} +\sum_{j=2}^{i-2}a_j a_{i-j} )\\ &= a_0^2+ 2 a_0 a_1 x + \sum_{i=2}^{\infty} x^i (2a_0 a_i + 2 a_1 a_{i-1} +a_i )\\ &= a_0^2+ 2 a_0 a_1 x + (2 a_0+1)\sum_{i=2}^{\infty} x^i a_i + 2 a_1\sum_{i=2}^{\infty} x^i a_{i-1}\\ &= a_0^2+ 2 a_0 a_1 x + (2 a_0+1)\sum_{i=2}^{\infty} x^i a_i + 2 a_1 x\sum_{i=2}^{\infty} x^{i-1} a_{i-1}\\ &= a_0^2+ 2 a_0 a_1 x + (2 a_0+1)(f(x)-a_0-x a_1)+ 2 a_1 x\sum_{i=1}^{\infty} x^{i} a_{i}\\ &= a_0^2+ 2 a_0 a_1 x + (2 a_0+1)(f(x)-a_0-x a_1)+ 2 a_1 x (f(x)-a_0)\\ &= a_0^2+ 2 a_0 a_1 x + f(x)(2 a_1 x+2 a_0+1)-(2 a_0+1)(a_0x+ a_1)- 2 a_0 a_1 x\\ &= a_0^2 + f(x)(2 a_1 x+2 a_0+1)-(2 a_0+1)(a_0x+ a_1)\\ &= 1 + f(x)(2 x+3)-3(x+1)\\ &= f(x)(2 x+3)-3x-2\\ \end{align} $
Esto da una ecuación cuadrática para $f(x)$ (como era de esperar, a partir de la recursión para $a_n$ ):
$f^2 - (2x+3)f + 3x+2 = 0$ .
Resolviendo, el discriminante es $(2x+3)^2 - 4(3x+2) = 4x^2+12x+9-12x-8 =4x^2+1 $ , por lo que las soluciones son $f(x) = \frac{2x+3 \pm \sqrt{4x^2+1}}{2} $ . Desde $f(0) = 1$ , tenemos que tomar el signo menos, así que $f(x) = \frac{2x+3 - \sqrt{4x^2+1}}{2} $ .
Hay muchas posibilidades de que haya algún error aquí (ya que lo hice de la parte superior de mi cabeza), pero la idea básica es que este tipo de recurrencia siempre conduce a una ecuación cuadrática en la función generadora.
Obsérvese que los coeficientes de todas las potencias Impares de $x$ (de $x^3$ on) son cero, lo que concuerda con el comentario de Glenn O. sobre $a_3$ .
Además, no sé si es o no una coincidencia que el discriminante no tenga un $x$ plazo - si así fuera, expandir la raíz cuadrada sería mucho más difícil.