Carrick-on-Shannonrepublic_of_ireland. kgm

Question

Deje $P$ ser un conjunto de probabilidades s.t. $\sum_{p_i \in P} p_i = 1$.

Por otra parte, vamos a $H(P)$ la entropía de Shannon de la serie de probabilidades $P$: $$ H(P) = -\sum_{p_i \en P} p_i \log_2 p_i $$

I definir un conjunto de acciones $a_1, \ldots, a_N$ que modificar el conjunto de probabilidades $P$.

La realización de una acción. Al $a_i$ se pide:

1. Algunas de las probabilidades se quitan $P$
2. $P$ está normalizado, de modo que su suma es todavía 1

En este contexto, defino $H_{i}(P)$ como el de la entropía de Shannon de la nueva colección,$P$.

La realización de dos acciones. Al $a_j$ se le preguntó después de la $a_i$:

1. Algunas de las probabilidades se quitan $P$ como consecuencia de $a_i$
2. $P$ está normalizado, de modo que su suma es todavía 1
3. Algunas de las probabilidades se quitan de la nueva $P$ como consecuencia de $a_j$
4. $P$ se normaliza de nuevo

El final de la entropía de Shannon es $H_{j}(P | a_i)$.

La prueba? Ahora, supongamos que yo elija dos acciones $a_1$ $a_2$ tal forma que: $$ H_1(P) \leq H_2(P). $$ Cómo probar si es verdadero (o, si no lo es, si existe un subconjunto de casos en los que es cierto)? $$ \forall a_i, i \neq 1,2: H_i(P|a_1) \leq H_i(P|a_2) $$

Answer 1

Que $P = [(1-\epsilon)/2,(1-\epsilon)/2,\epsilon/2,\epsilon/2]$ un pequeño $\epsilon$. Elegir $a_1$ para eliminar a uno de lo $(1-\epsilon)/2$s y $a_2$ para eliminar a uno de lo $\epsilon/2$s. Después de $a_1$, nos quedamos con el conjunto de probabilidades $$P_1 = \left[\frac{1-\epsilon}{2},\frac{\epsilon}{2},\frac{\epsilon}{2}\right]\frac{2}{1+\epsilon},$$ and after $a_2$, we are left with $$P_2 = \left[\frac{1-\epsilon}{2},\frac{1-\epsilon}{2},\frac{\epsilon}{2}\right]\frac{2}{2-\epsilon}.$$ Clearly, $H_1(P) \leq H_2(P)$. Now, choose $a_3$ to remove the first probabilities in $P_1$ and $P_2$ (you may even force them to have the same "initial" index), you will get $H_3(P|a_1) \geq $ H_3(P|a_2), y tenemos contraejemplo para la afirmación. No creo que usted será capaz de obtener una expresión sencilla en cuanto a cuando sostiene su afirmación.