¿La minentropía $H_{\rm min}(X)\equiv \min_x\log(1/p_x)$ de una fuente $X$ ¿tiene una interpretación operativa?

Question

Se trata de una versión más específica de esta otra pregunta mía relacionada . Tomando como ejemplo la notación utilizada en ( Renner 2006 ), entropías mínimas y máximas de una fuente $X$ con distribución de probabilidad $P_X$ se definen como $$H_{\rm max}(X) \equiv \log|\{x : \,\, P_X(x)>0\}| = \log|\operatorname{supp}(P_X)|, \\ H_{\rm min}(X) \equiv \min_x \log\left(\frac{1}{P_X(x)}\right) = -\log \max_x P_X(x).$$

Como se menciona en los comentarios del post enlazado , $H_{\rm max}(X)$ puede interpretarse como el límite óptimo para la compresibilidad en el régimen de disparo único.

¿Existe algún tipo de interpretación operativa similar para el min entropía $H_{\rm min}(X)$ ? ¿Se trata de la compresibilidad de un solo disparo o de otra cosa? No he encontrado algo así mencionado directamente en la bibliografía pertinente, pero puede que me lo haya perdido.

Answer 1

Bien $P_{max}=\max_{x} P(x)$ es la probabilidad de que un adivinador óptimo dada una única conjetura para la variable aleatoria discreta con pmf $(P(x))_{x \in A}$ tiene éxito. El registro mide el número de bits de información obtenidos en ese escenario.

Esto es clásico, véase también Wikipedia:

Definición de Claude Shannon autoinformación se eligió para cumplir varios axiomas:

• Un suceso con una probabilidad del 100% no es sorprendente y no aporta ninguna información.
• Cuanto menos probable es un acontecimiento, más sorprendente es y más información aporta.
• Si dos sucesos independientes se miden por separado, la cantidad total de información es la suma de las autoinformaciones de los sucesos individuales.

Se puede demostrar que existe una única función de probabilidad que cumple estos tres axiomas, a saber $\log(1/ P(x)).$