Es allí cualquier uso por la cantidad $$ \int f(x)^2 dx $$ en la estadística o la teoría de la información?
Respuesta
¿Demasiados anuncios?
Dejando $f$ denotar una función de densidad de probabilidad (ya sea con respecto a Lebesgue o contar, medir, respectivamente), la cantidad de $\newcommand{\rd}{\mathrm{d}}$ $$ H_\alpha(f) = -\frac{1}{\alpha-1} \log(\estilo de texto\int f^\alpha \rd \mu) $$ es conocido como el Renyi la entropía de la orden de $\alpha \geq 0$. Es una generalización de la entropía de Shannon que conserva muchas de las mismas propiedades. Para el caso de $\alpha = 1$, podemos interpretar $H_1(f)$$\lim_{\alpha \to 1} H_{\alpha}(f)$, y esto se corresponde con el estándar de la entropía de Shannon $H(f)$.
Renyi introdujo en su papel
A. Renyi, Sobre las medidas de información y entropía, Proc. 4 de Berkeley Symp. en las Matemáticas., Stat. y Prob. (1960), pp 547-561.
que es bien vale la pena leer, no sólo por las ideas sino por el ejemplar de la exposición de estilo.
El caso de $\alpha = 2$ es uno de los más comunes de opciones para $\alpha$ e este caso especial es (también) a menudo se refiere como la Renyi de la entropía. Aquí podemos ver que $$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \estilo de texto\int f^2 \rd \mu ) = -\log( \e f(X) ) $$ para una variable aleatoria distribuida con la densidad de $f$.
Tenga en cuenta que $- \log(x)$ es una función convexa y, entonces, por la desigualdad de Jensen tenemos $$ H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f) $$ donde el lado derecho indica que la entropía de Shannon. De ahí el Renyi entropía ofrece un límite inferior para la entropía de Shannon y, en muchos casos, es más fácil de calcular.
Otro naturales instancia en la que el Renyi entropía surge es cuando se considera una variable aleatoria discreta $X$ y una copia independiente $X^\star$. En algunos escenarios queremos saber la probabilidad de que $X = X^\star$, que por un elemental cálculo es $$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\estrella = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\estrella = x_i) = e^{-H_2(f)} . $$
Aquí $f$ denota la densidad con respecto a contar de la medida sobre el conjunto de los valores de $\Omega = \{x_i: i \in \mathbb{N}\}$.
El (general) Renyi la entropía es también aparentemente relacionados con la energía libre de un sistema en equilibrio térmico, aunque no estoy personalmente. Un (muy) artículo reciente sobre el tema es
J. C. Báez, Renyi la entropía y la energía libre, arXiv [quant-ph] 1101.2098 (Feb. 2011).
