Aunque por encima de los 2 respuestas proporcionar una solución completa a su problema, voy a presentar otro
solución en la dirección de su enfoque, es decir, maximizar el funcional $\int_a^b xf(x)dx\int_a^b\frac{1}{x}f(x)dx$
sujeto a $\int_a^bf(x)dx=1$.
De hecho, se recomienda que trabajamos en el espacio de probabilidad medidas(pm) en $[a,b]$ desde
dado funcional no puede sacar el máximo entre distribuciones continuas. Desde el espacio de la p.m.s
es compacto w.r.t débiles de la topología y el funcional es débilmente continua, la existencia de máximo es de
garantizado.
Nos deja denotar $\mu(X) = \int_a^b x d\mu$ e $\mu(1/X) = \int_a^b \frac{1}{x}d\mu$ de probabilidad de medida $\mu$ a $[a,b]$ y
definir la forma bilineal como
$$B(\mu_1,\mu_2) = \mu_1(X)\cdot \mu_2(1/X)$$.
Deje $\nu$ ser un maximizer de $Q:\mu \mapsto B(\mu,\mu)$. Entonces para cualquier pm $\mu$ e $s\in [0,1]$, $$Q(s\mu + (1-s)\nu)\leq Q(\nu)$$,
y esto a su vez implica $\frac{d}{ds}\Big|_{s=0} Q(s\mu + (1-s)\nu)\leq 0$. De esto podemos obtener la desigualdad $$L(\mu):=\mu(X)\nu(1/X) + \mu(1/X)\nu(X) \leq 2\nu(X)\nu(1/X)\quad\forall \mu\quad\cdots (*)$$ characterizing $\nu$ as a maximizer of the linear function $L$. De hecho, esta desigualdad no es sólo necesario
pero es suficiente, ya que por AM-GM de la desigualdad tenemos $$2\nu(X)\nu(1/X) \leq \frac{\left(\mu(X)\nu(1/X) + \mu(1/X)\nu(X)\right)^2}{2\mu(X)\mu(1/X)}$$.
Ahora podemos observar que tomando especial $\mu = \delta_z$(delta de Dirac en $z$), $(*)$ llega a
$$\nu(1/X)\cdot z + \frac{\nu(X)}{z} \leq 2\nu(X)\nu(1/X)\quad\forall z\in [a,b]\quad \cdots (**)$$.
Pero $(**)$ es equivalente a $(*)$ ya que podemos obtener $(*)$ mediante la integración de $(**)$ con respecto al $\mu$.
Por último, observamos que las funciones de la forma $\alpha\cdot z +\frac{\beta}{z}\;(\alpha,\beta>0)$ toma máxima en $\{a,b\}$, por lo que
$(*)$ llega a
$$\nu(1/X)\cdot a + \frac{\nu(X)}{a} \leq 2\nu(X)\nu(1/X)$$,
$$\nu(1/X)\cdot b + \frac{\nu(X)}{b} \leq 2\nu(X)\nu(1/X)$$.
Esto nos dice que el conjunto de maximizers de $L$ está contenido en $[\delta_a,\delta_b] = \{p\delta_a + (1-p)\delta_b\;|\; p\in [0,1]\}$
y, por tanto, $\nu = p\delta_a+(1-p)\delta_b$ para algunos $p\in [0,1]$.
Ahora tenga en cuenta que $\nu$ no $\delta_a$ bien $\delta_b$, lo $\nu$ es una mezcla de ellos, y esto es posible sólo si el conjunto de
maximizers es $[\delta_a,\delta_b]$, es decir,
tanto las desigualdades anteriores son en realidad las igualdades. Por último, algunas complementarias
cálculo de los rendimientos de las ecuaciones cuadráticas acerca de $p$, y la solución nos da la solución de $p=\frac{1}{2}$.