Podemos hacer riguroso el argumento dado por Flounderer utilizando el comentario dado por Varun Vejalla. También podemos probar que la función identidad es de hecho un maximizador calculando la segunda variación que resulta ser fuertemente cóncava.
Usando el cambio de variable $x=f(t)$ tenemos $$ \int_0^1 f(x) f^{-1}(x)\,dx=\int_0^1 f(f(t))f'(t) t \,dt. $$ Calculamos la ecuación de Euler-Lagrange: sea $h(t)=f(t)+\delta g(t)$ donde $g\in S:=\{G \in C^1[0,1] : g(0)=g(1)=0\}$ y $\delta$ es un número real. Tenemos que $$ u[g](\delta)=\int_0^1 t (f(t)+\delta g(t))(f(f(t)+\delta g(t))+\delta g(f(t)+\delta g(t)))\,dt $$ Ahora la ecuación de Euler-Lagrange es $$0=\frac{d}{d\delta}u[g](0)=\int_0^1 t \{ g'(t) f(f(t))+ f'(t) f'(f(t)) g(t)+f'(t) g(f(t)) \}\,dt=\int_0^1 t [f(f(t))g(t)]' \,dt+ \int_0^1 t f'(t) g(f(t)) \,dt.$$ Integramos por partes la primera integral y sustituimos $f(t)=x$ para obtener $$ -\int_0^1 f(f(t)) g(t)+\int_0^1 g(x) f^{-1}(x) dx=\int_0^1 g(t) \lvert f^{-1}(t)-f(f(t))\rvert\, dt \quad \forall g\in S. $$ Una aplicación del lema fundamental nos da $$ f^{-1}(t)=f(f(t)),\quad \text{es decir} \quad t=f(f(f(t))). $$ Por simetría podemos suponer que $t\leq f(t)$ y dado que $f$ es creciente obtenemos que $t\leq f(t)\leq f(f(t))\leq f(f(f(t))=t$. Por lo tanto $f(t)=t$ es el único punto crítico para el funcional.
Podemos probar que $f(t)=t$ es de hecho un máximo ya que $u''[g](0) \leq - \alpha \int_0^1 g^2(t)\,dt$ para algún $\alpha>0$.
Si calculamos la segunda variación en $\delta=0$ en el argumento de Flounderer obtenemos $-2 \int_0^1 g^2(t)\, dt$, es decir, la condición fuertemente cóncava con $\alpha =2$. Podemos hacer que el argumento sea riguroso utilizando el enfoque anterior