Límites inferiores de la función de entropía

Question

Dejemos que $H(x,p)$ sea la función de entropía. Es decir $$H(x,p) :=x\log(\frac{x}{p})+(1x)\log(\frac{1-x}{1-p})\quad(0<x<1,\,0<p<1)$$

A) Mostrar si $x\neq p$ entonces $H(x,p) \geq 2(x-p)^2$

B) Mostrar si $\frac{1}{2}\leq p < x$ (o si $x<p\leq\frac{1}{2}$ ) entonces $H(x,p) \geq \frac{(x-p)^2}{2p(1-p)}$

Parece que no puedo entender ninguna de las dos cosas. En un problema anterior encontramos la primera y segunda derivada de $H,$ que puede ser un factor en la solución, pero no puedo ver dónde. ¿Alguien tiene alguna idea? Creo que hay algo sencillo que se me escapa en ambos casos.

Edición: Prueba para (A)

Primero vea que para $0<x<1$ , $\frac{d^2H}{dx^2} = \frac{1}{x(1-x)}\geq 4$ Ahora, integrando ambos lados vemos $\frac{dH}{dx} = 4x$ e integrando de nuevo tenemos $H \geq 2x^2 \geq 2(x-p)^2$ desde $0<p<1$ .

Estoy bastante seguro de que el mismo argumento se aplica a la parte (B). Creía que lo tenía resuelto, pero mientras escribía me di cuenta de que mi intento era incorrecto. Intenté hacer más o menos lo mismo pero como $2p(1-p)$ varía de 0 a 1/2, es mayor que $2(x-p)^2$ .

Answer 1

Hay algunos problemas con tu prueba de la parte (A). En primer lugar, es probable que quieras decir $\frac{dH}{dx} \ge 4x$ no $\frac{dH}{dx} = 4x$ . Pero esa conclusión sólo sería válida si $\frac{dH}{dx}$ es cero para $x=0$ que no lo es: Para los fijos $p$ la función disminuye primero y luego aumenta con el aumento de $x$ . El mismo problema tiene la conclusión de que $H \geq 2x^2$ y $2x^2 \geq 2(x-p)^2$ no es válida para $x < p/2$ .

Estos problemas pueden resolverse. Con $h(x) = H(x, p)$ por el hecho de ser fijo $p$ puede demostrar que $h(p) = h'(p) = 0$ . Entonces $h''(x) \ge 4$ implica $$ h(x) = h(p) + h'(p) (x-p) + \frac{h''(c)}{2}(x-p)^2\ge 2 (x-p)^2 \, , $$ utilizando el teorema de Taylor. Puedes proceder de forma similar para la parte (B): Si $\frac{1}{2}\leq p < x$ entonces $$ h''(t) = \frac{1}{t(1-t)} \ge \frac{1}{p(1-p)} $$ para $p \le t \le x$ .

Aquí tenemos un enfoque diferente, utilizando una representación integral, de forma similar a la de Demostrar la positividad de una función que implica $\log$ . .

Tenemos $$ H(x, p) = x\int_p^x \frac{dt}{t} + (1-x)\int_{1-p}^{1-x}\frac{dt}{t} \\ = \int_p^x \left( \frac xt - \frac{1-x}{1-t}\right) \, dt = \int_p^x \frac{x-t}{t(1-t)} \, dt \, . $$

Para la parte (A) utilizamos $t(1-t) \le 1/4$ , que da $$ H(x, p) \ge 4\int_p^x (x-t) \, dt = 2(x-p)^2 \, . $$

( Observación: Sí, eso funciona si $p \le x$ y si $p \ge x$ .)

Para la parte (B), si $\frac{1}{2}\leq p < x$ o $x<p\leq\frac{1}{2}$ entonces $t(1-t) \le p(1-p)$ para todos $t$ en el intervalo de integración, y por tanto $$ H(x, p) \ge \frac{1}{p(1-p)}\int_p^x (x-t) \, dt = \frac{(x-p)^2}{2p(1-p)} \, . $$