No-cero Condicional de la Entropía Diferencial entre una variable aleatoria y función de

Question

Vamos dos continuo de variables aleatorias, donde el uno es una función de la otra: $X\, $$\, Y=g\left(X\right)$. Su información mutua se define como $$I\left(X,Y\right)\,=\,h\left(X\right)\,-\,h\left(X|Y\right)=\,h\left(Y\right)\,-\,h\left(Y|X\right)$$ donde minúsculas h denota diferencial de la entropía, la entropía concepto de continuo rv. Es un hecho comprobado que la información mutua entre dos variables, para discretos así como para el continuo rv, es no negativo, y se convierte en cero sólo cuando los dos rv son independientes (claramente no es nuestro caso). Utilizando el hecho de que Y es una función de X tenemos $$I\left(X,g\left(X\right)\right)\,=\,h\left(g\left(X\right)\right)\,-\,h\left(g\left(X\right)|X\right) \gt\,0\,\Rightarrow \,h\left(g\left(X\right)\right)\,\gt \,h\left(g\left(X\right)|X\right)$$ Ahora, el diferencial de la entropía (a diferencia de entropía para discretos rv) puede tomar valores negativos. Asumir que lo que ocurre es que $h\left(g\left(X\right)\right)\lt\,0$. Luego de la positividad de la mutua de la información que obtenemos $$0\,\gt \,h\left(g\left(X\right)\right)\,\gt \,h\left(g\left(X\right)|X\right) \Rightarrow\; h\left(g\left(X\right)|X\right)\neq\,0$$ Y esta es la contra-intuitiva de puzzle: para cualquier discreto de la variable aleatoria Z siempre tenemos $h\left(g\left(Z\right)|Z\right)\,=\,0$. Esto es intuitivo: si Z es conocido, entonces cualquier función de Z está totalmente determinado -no la entropía, no se mantiene la incertidumbre, y por lo que el condicional de la medida de la entropía es cero. Pero acabamos de ver que, cuando se trata de continuo rv donde el uno es una función de la otra, sus condicional diferencial de la entropía puede ser distinto de cero (no importa si es positivo o negativo), que no es intuitivo. Porque, incluso en este extraño mundo de continuo rv, a sabiendas de X, determina completamente Y=g(X). He buscado de alta y baja para encontrar cualquier discusión, comentario o exposición de la materia, pero no he encontrado nada. De la cubierta y Thomas libro no hace mención de ello, otros libros no se menciona, una miríada de artículos científicos o de los sitios web no la mencionan.

Mis motivos: a) la curiosidad Científica. b) quiero usar el concepto de mutua información para el continuo rv en un papel de la econometría estoy escribiendo, y me siento muy incómodo para sólo hablar de la "no-cero condicional diferencial de la entropía" caso sin ser capaz de discutir un poco. Por lo que cualquier intuición, de referencia, sugerencia, idea, o completa de la respuesta, por supuesto, sería muy apreciado. Gracias.

Answer 1

Usted podría poner su paradoja en una forma más simple:

Sabemos que para las variables continuas puede suceder que el diferencial de la entropía es negativo (es decir, $h(X)<0$), pero todavía tenemos $I(X;Y)\ge 0$ siempre. Ahora, la relación $I(X;Y)=h(X)-h(X|Y)$ (diferencial de entropías) sostiene que para ninguna de las variables $X,Y$. Entonces, si tomamos $Y=X$ tenemos

$$0 \le I(X;X)= h(X)-h(X|X)=h(X)$$

(debido a que $h(X|X)=0$). Pero esto contradice la suposición $h(X)<0$. Entonces, ¿qué?

cuando se trata de continuo rv donde el uno es una función de la otros, sus condicional diferencial de la entropía puede ser distinto de cero(es no importa si es positivo o negativo), que no es intuitivo en absoluto.

El problema (y el problema con la anterior paradoja) es implícitamente asume que el concepto de "entropía cero significa que no hay incertidumbre" se aplica también a la diferencia de entropías. Eso es falso. Es falso que $h(g(X)|X)=0$$h(X|X)=0$, como es el supuesto de que $h(X)=0$ implica cero la incertidumbre de un diferencial de entropías. El hecho de que (por un simple cambio de escala) un diferencial de entropía puede ser negativa, sugiere por sí mismo que aquí cero entropía (condicional o incondicional) no tiene ningún significado especial. En particular, un uniforme de la variable en $[0,1]$$h(X)=0$.