El cálculo de Fisher Información de Bernoulli rv

Question

Deje $X_1,...,X_n$ ser Bernoulli distribuido con parámetro desconocido $p$.

Mi objetivo es calcular la información contenida en la primera observación de la muestra.

Sé que el pdf de $X$ está dado por $$f(x\mid p)=p^x(1-p)^{1-x}$$, and my book defines the Fisher information about $p$ como

$$I_X(p)=E_p\left[\left(\frac{d}{dp}\log\left(p^x(1-p)^{1-x}\right)\right)^2\right]$$

Después de algunos cálculos, llego a

$$I_X(p)=E_p\left[\frac{x^2}{p^2}\right]-2E_p\left[\frac{x(1-x)}{p(1-p)}\right]+E_p\left[\frac{(1-x)^2}{(1-p)^2}\right]$$

Sé que el Pescador información acerca de $p$ de Bernoulli RV es $\frac{1}{p(1-p)}$, pero no sé cómo deshacerse de los valores de X, ya que yo soy el cálculo de una expectativa con respecto a $p$, no $X$. Alguna pista?

Answer 1

\begin{equation} I_X(p)=E_p \left[\frac{X^2}{p^2}\right]-2E_p \left[ \frac{X - X^2}{p(1-p)} \right] + E_p \left[ \frac{X^2 - 2X + 1}{(1-p)^2}\right] \tag{1}. \end{equation} Para un Bernoulli RV, sabemos \begin{align} E(X) &= 0(\Pr(X = 0)) + 1(\Pr(X = 1)) = p\\ E(X^2) &= 0^2(\Pr(X = 0)) + 1^2(\Pr(X = 1)) = p. \end{align} Ahora, sustituir en $(1)$, obtenemos \begin{equation} I_X(p)=\frac{p}{p^2}-2\frac{0-0}{p(1-p)}+\frac{p-2p+1}{(1-p)^2} = \frac{1}{p}-\frac{p-1}{(1-p)^2} = \frac{1}{p} - \frac{1}{p-1} = \frac{1}{p(p-1)}. \end{equation}

Answer 2

En realidad, el Pescador información de $X$ $p$ es $$I_X(p)=E_p\left[\left(\frac{d}{dp}\log f(X\mid p) \right)^2 \right],$$ que es $$I_X(p)=E_p\left[\left(\frac{d}{dp}\log\left(p^X(1-p)^{1-X}\right)\right)^2\right].$$

Sólo he cambiado todos los $x$$X$, que puede parecer una sutileza, pero luego te $$I_X(p)=E_p\left(\frac{X^2}{p^2}\right)-2E_p\left(\frac{X(1-X)}{p(1-p)}\right)+E_p\left(\frac{(1-X)^2}{(1-p)^2}\right).$$

La expectativa es que no por el hecho de que $X$ es una variable aleatoria. Así, por ejemplo: $$E_p\left(\frac{X^2}{p^2}\right)=\frac{E_p\left(X^2\right)}{p^2}=\frac{p}{p^2}=\frac1p.$$

Aquí he utilizado el hecho de que $E_p(X^2)=p$, que fácilmente puede ser visto como $$E_p(X^2)=0^2\cdot p_X(0)+1^2\cdot p_X(1)=0^2(1-p)+1^2p=p,$$ o por la observación de que $X\sim \operatorname{Be}(p) \implies X^n\sim \operatorname{Be}(p)$. A continuación, puede continuar con el resto de los términos.

---

Además, un equivalente de la fórmula puede ser demostrado por $I_X(p)$ dada la derivada segunda de $\log f$ está bien definido. Este es $$I_X(p)=-E_p\left(\frac{d^2}{dp^2}\log f(X\mid p) \right),$$ y muchas veces tendrás más simples expresiones. En este caso, por ejemplo, se obtiene $$I_X(p)=-E_p\left(\frac{d^2}{dp^2}\log p^X(1-p)^{1-X}\right)=$$ $$=-E_p\left(-\frac X{p^2}-\frac{1-X}{(1-p)^2} \right) = \frac {E_p(X)}{p^2}+\frac{E_p(1-X)}{(1-p)^2}=$$ $$=\frac {p}{p^2}+\frac{1-p}{(1-p)^2}=\frac 1p+\frac 1{1-p}=\frac 1{p(1-p)},$$ como se desee.