valor esperado de min calcula la entropía

Question

Tenemos un generador de números aleatorios que genera independiente de bits aleatorios con una probabilidad de $P(x=1) = P$$P(x=0)=1-P$.

Dado $N$ aleatoria de bits independientes, estimamos $P$$\hat{P} = N_1/(N_0+N_1)$. donde $N_0$ es el número de $0$'s y $N_1$ número de $1$'s. El valor esperado de $\hat{P}$ puede ser simplemente demostrado ser $P$.

una. ¿Cuál es el valor esperado para la estimación de la entropía se define de la siguiente manera: $\hat{H}=-[ \hat{P} \log(\hat{P}) + (1-\hat{P}) \log(1-\hat{P}) ]$

b. Si tomamos $M$ conjuntos independientes de $N$ bits aleatorios como el anterior y cada vez que la estimación de la entropía mediante la ecuación anterior, ¿Cuál es el valor esperado para los más pequeños estimado de entropía entre los $M$ juegos ?

gracias, MG

P. S. Si la solución a la integral general de P es demasiado complicado, una solución para el caso especial en $P=1/2$ se agradece también.

Answer 1

Como se señaló en los comentarios, no hay fórmula exacta para $\langle \hat H_N\rangle$ pero, para gran $N$, uno puede acercarse a ella por un $\chi^2$-tipo de límite.

A saber, $N_1=pN+v\sqrt{N}Z_N$ con $v^2=p(1-p)$, $\langle Z_N\rangle=0$ y $\langle Z_N^2\rangle=1$ por cada $N$ y, cuando $N\to+\infty$, $Z_N$ la convergencia en distribución para una variable aleatoria normal estándar.

Por lo tanto $\hat P_N=p+U_N$$1-\hat P_N=q-U_N$$q=1-p$$U_N=vZ_N/\sqrt{N}$, y $$ \hat H_N=-(p+U_N)\log(p+U_N)-(q-U_N)\log(q-U_N). $$ El uso de las expansiones $$ \log(p+U_N)=\log(p)+U_N/p-U_N^2/(2^2)+o(U_N^2), $$ y $$ \log(q-U_N)=\log(p)-U_N/q-U_N^2/(2t^2)+o(U_N^2), $$ uno se $$ \hat H_N=-p\log(p)-q\log(p)+U_N\log(p/p)-U_N^2/(2pq)+o(U_N^2). $$ Desde $\langle U_N\rangle=0$, $\langle U_N^2\rangle=v^2/N$ y $v^2=pq$, uno se $$ \langle \hat H_N\rangle=-p\log(p)-q\log(q)-1/(2N)+o(1/N). $$