RESPUESTA CORTA: No se conoce una solución general a este problema de forma cerrada, pero se pueden resolver algunos casos especiales. Lo siento.
RESPUESTA LARGA: Obsérvese que si una función $f$ satisface $$f(x)=(g^{-1} \circ h \circ g)(x)$$ para algunos $g,h$ entonces $$f^n(x)=(g^{-1} \circ h^n \circ g)(x)$$ donde el superíndice denota la iteración funcional en lugar de la exponenciación.
Podemos resolver esta ecuación para toda una clase de cuadráticas $$f^2(x)=q(x)=ax^2+bx+c$$ para lo cual $$c=\frac{b^2-2b}{4a}$$ Esto se debe a que podemos reescribir $$q(x)=ax^2+bx+\frac{b^2-2b}{4a}$$ como $$q(x)=a\bigg(x+\frac{b}{2a}\bigg)^2-\frac{b}{2a}$$ y así, dejando que $g(x)=x-\frac{b}{2a}$ et $h(x)=ax^2$ , $$q(x)=(g^{-1} \circ h \circ g)(x)$$ y por lo tanto $$q^n(x)=(g^{-1} \circ h^n \circ g)(x)$$ y como la fórmula de $h^n$ es $$h^n(x)=a^{2^n-1}x^{2^n}$$ tenemos $$q^n(x)=a^{2^n-1}\bigg(x+\frac{b}{2a}\bigg)^{2^n}-\frac{b}{2a}$$ y, finalmente, $$f(x)=q^{1/2}(x)=a^{\sqrt 2-1}\bigg(x+\frac{b}{2a}\bigg)^{\sqrt 2}-\frac{b}{2a}$$ Así que ahí está la solución para ese caso especial. Hay otro caso especial cuando $$c=\frac{b^2-2b-8}{4a}$$ pero la solución a ese caso es mucho más larga, por lo que la omitiré y se la dejaré a usted para que investigue por su cuenta.
Existe otro caso especial en el que intervienen funciones trigonométricas. Obsérvese que si dejamos que $$g(x)=\arccos x$$ $$h(x)=2x$$ tenemos $$(g^{-1}\circ h\circ g)(x)=\cos(2\arccos x)$$ y, utilizando la fórmula del doble ángulo, $$(g^{-1}\circ h\circ g)(x)=\cos^2(\arccos x)-\sin^2(\arccos x)$$ $$(g^{-1}\circ h\circ g)(x)=x^2-(1-x^2)$$ $$(g^{-1}\circ h\circ g)(x)=2x^2-1$$ y así $g^{-1}\circ h\circ g$ es una cuadrática. Ahora dejemos que $$q(x)=(g^{-1}\circ h\circ g)(x)$$ para que $$q^n(x)=(g^{-1}\circ h^n\circ g)(x)$$ Ahora bien, como $$h^n(x)=2^n x$$ tenemos $$q^n(x)=\cos(2^n\arccos x)$$ y $$f(x)=q^{1/2}(x)=\cos(\sqrt{2}\arccos x)$$ que resuelve otro caso especial. Sin embargo, nótese que esto sólo se resuelve en el dominio $[-1,1]$ porque ahí es donde $\arccos x$ se define.
Estoy seguro de que hay otros casos especiales que implican funciones trigonométricas, pero los dejaré para que los encuentres.
0 votos
¿Podría calcular $f(f(0)), f(f(1)), f(f(-1))$ y luego resolver las ecuaciones resultantes para encontrar $a, b, c$ en términos de $f(f(0)), f(f(1)), f(f(-1))$ ?
0 votos
Podrías ¿pero entonces?
0 votos
Mi pregunta era: ¿es eso suficiente o el PO quiere $a,b,c$ en términos que no impliquen $f$ ¿en absoluto?
1 votos
Es de mi parte; me tropecé con un caso especial (a saber, demostrar que no hay ninguna función con $f(f(x))=x^2-2$ ) y pensé que sería interesante generalizar un poco.
0 votos
A partir de su caso se puede extender el resultado a todos los polinomios de segundo grado $h(x)$ en el lado derecho para el que $h(x)-x$ et $h(h(x))-x$ tienen distintas raíces reales..
0 votos
Ver artofproblemsolving.com/community/c6h14151p101406 para obtener información.
0 votos
Usuario, ¿qué ha demostrado exactamente sobre $x^2 - 2?$ Estaría bien ver eso.
0 votos
@WillJagy no existe tal función para $x^2-2$ , puede ver también el problema 7 aquí imomath.com/index.php?options=341&lmm=0
0 votos
@jordan bien. Tenga en cuenta que hay una solución definida para $x > 2$ que es realmente analítica, y probablemente se extiende a un dominio algo mayor, quizás a $x > 1/2$ . Sección 3.5 en D.S. Alexander, A History of Complex Dynamics books.google.com/
0 votos
Relacionado con esto: mathoverflow.net/questions/17605/how-to-solve-ffx-cosx/
0 votos
Tomado de la respuesta borrada de Mufasa: $$\begin{align} f(f(x))&=ax^2+bx+c\\ f(f(-x))&=ax^2-bx+c\\ f(f(x))-f(f(-x))&=2bx+2c\\ f(f(0))-f(f(0))&=2c\\ c&=0 \end{align}$$
0 votos
@SimplyBeautifulArt Creo que algo puede fallar en ese argumento. Como se argumenta en mi respuesta, podemos encontrar fórmulas de iteración de forma cerrada para algunas cuadráticas con $c\ne 0$ que puede ser la razón por la que Mufasa borró su respuesta.