Optimización restringida mediante el cálculo de variaciones (maximización de la entropía)

Question

Tenga en cuenta que no sé (casi) nada sobre el cálculo de variaciones, y estoy familiarizado con el análisis sólo a nivel de licenciatura (es decir, el nivel de Baby-Rudin).

Dejemos que $[a, b] \subset \mathbb{R}$ y $p: [a,b] \to \mathbb{R}_{\geq 0}$ sea tal que $\int_{\mathbb{R}}p = 1$ . Sea $$H(p) = -\int_{\mathbb{R}}p\log p\text{.}$$ Definimos $p(x)\log[p(x)] = 0$ siempre que $p(x) = 0$ . Considere el problema

$$\max H(p) \text{ subject to }\int_{\mathbb{R}}p = 1\text{.}$$

(Este es el análogo del conjunto incontable de un pregunta anterior que hice .)

Según este libro de texto que tengo, esto se resuelve utilizando el cálculo de variaciones. Cada vez que leo algo sobre el cálculo de variaciones, siempre aparecen las ecuaciones de Euler-Lagrange. Sin embargo, este caso es ligeramente diferente de la mayoría de los ejemplos que he visto en Internet, ya que se aplica una restricción.

Sé que la solución es aparentemente (y esto se proporciona en el libro de texto)

$$p(x) = \dfrac{1}{b-a}\mathbf{1}_{[a, b]}(x)$$ donde $\mathbf{1}_{A}(x) = 1$ para $x \in A$ y $0$ de lo contrario.

Pero no estoy nada seguro de cómo mostrar esto.

Answer 1

Podemos considerar este problema restringido como la búsqueda de los "puntos estacionarios" de la función objetivo

$$ -\int_a^b \left[ p(t) \log p(t) + \lambda p(t) \right] \mathrm d t, $$

donde $\lambda$ es un multiplicador de Lagrange para la restricción de que $p$ debe integrarse a la unidad en $[a,b]$ .

La ecuación de Euler-Lagrange en este caso dice

$$ \log p + \lambda +1 = 0. $$

Obsérvese que esto implica que $p$ debe ser constante, y la única distribución con una densidad constante es la distribución uniforme.

Obsérvese también que no es necesario apelar a la ecuación de Euler-Lagrange para ello; podemos intentar maximizar ingenuamente nuestro objetivo puntualmente y descubrir que la maximización puntual funciona. Por lo tanto, para explicárselo a un estudiante no hace falta más que tener cierta facilidad en la optimización restringida simple, en lugar de tener que recurrir al cálculo de variaciones (el método del multiplicador de Lagrange es un material estándar en cualquier buen curso de economía de pregrado).

Answer 2

La advertencia respecto al método de Euler-Lagrange es que requiere una regularidad (innecesaria) de $p$ En caso de que quieras ser riguroso. Un método más general es utilizar la desigualdad de Jensen, aunque hay que "retocarla" un poco.

La función $g(t)=-t\log t$ para $t\geq 0$ (con $g(0)\equiv 0$ ) es estrictamente cóncavo. Por lo tanto, si $\mu$ es una medida de probabilidad en algún espacio $(\Omega,{\cal B})$ y $p:\Omega\rightarrow {\Bbb R}_+$ es $\mu$ -integrable con $m = \int p \; d\mu<+\infty$ entonces $g(t) \leq g(m) + g'(m)(t-m)$ para todos $t\geq 0$ . Componer con $p$ e integrando con respecto a $\mu$ obtenemos (esto es de hecho una prueba de la desigualdad de Jensen): $$ \int g(p(x)) \; d\mu(x) \leq g(m) + g'(m)\int (p(x)-m)\;d\mu(x) = g(m)$$ con igualdad si $p(x)=m$ para $\mu$ -a.e. punto $x$ .

En el presente caso, $d\mu(x) = \frac{1}{b-a} {\bf 1}_{[a,b]}(x)\; dx $ (normalizado para convertirse en una medida de probabilidad), y como $m=\int p(x)\; d\mu(x) = \frac{1}{b-a}$ concluimos: $$ -\frac{1}{b-a} \int_a^b p(x)\log(p(x))dx \leq g(m) = -\frac{1}{b-a} \log \frac{1}{b-a}$$ o $H(p) \leq \log(b-a)$ con igualdad si $p(x)=\frac{1}{b-a}$ para un punto e. en $[a,b]$