(Una respuesta parcial.)
Este es un caso especial de una conjetura igualdad discutido en este MO post. Deje $|q|<1$, entonces,
$$\begin{aligned}U(q)
&= \prod_{n=0}^\infty \frac{\big(1-a^2q^3(q^4)^n\big)\big(1-b^2q^3(q^4)^n\big)}{\big(1-a^2q(q^4)^n\big)\big(1-b^2q(q^4)^n\big)}\\
&= \dfrac{1} {1+ab-\dfrac{(a+bq)(b+aq)} {1+(ab)^3+\dfrac{(a-bq^2)(b-aq^2)q} {1+(ab)^5-\dfrac{(a+bq^3)(b+aq^3)q^2} {1+(ab)^7+\dfrac{(a-bq^4)(b-aq^4)q^3} {(1+(ab)^9-\ddots }}}}}
\end{aligned}$$
Si $a=q,\;b=1$, e $|q|<1$ a continuación,
$$\begin{aligned}U(q)
&=\prod_{n=0}^\infty \frac{\big(1-q^5(q^4)^n\big)\big(1-q^3(q^4)^n\big)}{\big(1-q^3(q^4)^n\big)\big(1-q(q^4)^n\big)} =\prod_{n=0}^\infty \frac{\big(1-q^5(q^4)^n\big)}{\big(1-q(q^4)^n\big)} = \frac{1}{1-q}\\
&=\cfrac{1}{1+q-\cfrac{\color{brown}{2q(1+q^2)}}{1+q^3+\cfrac{q^2(1-q)(1-q^3)}{1+q^5-\cfrac{q^3(1+q^2)(1+q^4)}{1+q^7+\cfrac{q^4(1-q^3)(1-q^5)}{1+q^9-\ddots}}}}}
\end{aligned}$$
y sólo toma un poco de manipulación algebraica para obtener la parte marrón de este cfrac a la forma en el post. Puedo conseguir,
Si $|q|<1$:
$$\chi(q) = \frac{1}{q}\tag1$$
Si $|q|>1$:
$$\chi(q) = \sum_{n=1}^\infty (-1)^{n-1} \frac{F_{n}}{q^n} = \frac{q}{q^2+q-1}\tag2$$
donde $(2)$ es una variante de la identidad en este post. Por lo tanto, se debería especificar que la generación de la función sólo es válida cuando se $\color{blue}{|q|>1}$.
P. S. Tal comportamiento está presente en otros cfracs. Por ejemplo, para el Rogers-Ramanujan cfrac $R(q)$ si $|q|<1$,$R(q) = R(q)$, pero si $\color{blue}{|q|>1}$, entonces,
$$R(q) \to R(1/q^4),\quad \text{(even convergents)}$$
$$R(q) \to -1/R(-1/q),\quad \text{(odd convergents)}$$
Consulte la Sección 2 de Berndt del papel.