Hay dos notaciones comunes para esto, en dos comunidades diferentes:
-
La gente de la física cuántica, el análisis funcional y temas similares escribe todo sin paréntesis y para ellos, naturalmente $B^2x=BBx=B(B(x))$ .
-
Algunas personas en albegra tratan las funciones como "modificadores" y cuando $\alpha$ es una función, entonces escriben la imagen de $x$ por $\alpha$ como $x\alpha$ . Para ellos, $x\alpha^2$ es lo que yo escribiría $\alpha(\alpha(x))$ .
En cualquier caso, como mencionan otros, puedes usar lo que quieras, siempre que aclares tus anotaciones al principio. Si lo necesitas mucho, yo optaría por uno de $$f^n(x),\qquad f_n(x),\qquad f^{\circ n}(x),\qquad f^{[n]}(x).$$