Para MLE, ¿por qué la desigualdad de información implica identificabilidad

Question

Sea $X = \langle X_1, \dots, X_n \rangle^{\top}$ sea una muestra finita de observación $X$ donde $X \sim \mathbb{P}_{\theta_0}$ con $\theta_0 \in \Theta$ y densidad $f_X(x; \theta_0)$ . El parámetro verdadero $\theta_0$ es globalmente identificable si

$$ \forall \theta \neq \theta_0 \implies \mathbb{P}[f_X(x; \theta) \neq f_X(x; \theta_0)] > 0$$

Mis apuntes de clase dicen entonces que debido a la desigualdad de información para el logaritmo de probabilidad,

$$ \mathbb{E}_{\theta_0} [\ell_n(\theta)] \leq \mathbb{E}_{\theta_0}[\ell_{n}(\theta_0)], \qquad \forall \theta \in \Theta \subseteq \mathbb{R}^d. $$

esto implica una identificación global, es decir

$$ \mathbb{E}_{\theta_0} [\ell_n(\theta)] < \mathbb{E}_{\theta_0}[\ell_{n}(\theta_0)], \qquad \forall \theta \neq \theta_0. $$

No sigo este último paso. ¿Por qué la desigualdad se vuelve estricta? ¿Cómo se relaciona esta última desigualdad con la definición de identificación global?

Answer 1

Sea $W$ y $U$ denotan dos v.r. continuos (por simplicidad) con densidades $f_W(w)$ y $f_U(u)$ . El valor esperado del v.r. $Z:=f_W(U)/f_U(U)$ es \begin{eqnarray*} E(Z)&=&\int_{S_U}\frac{f_W(u)}{f_U(u)}rd F_U(u)\\ &=&\int_{S_U}f_W(u)d u\\ &\leqslant&1, \end{eqnarray*} donde $S_U$ es el soporte de $f_U(u)$ . A continuación, utilizamos la desigualdad de Jensen para obtener $$E[\log(f_W(U)/f_U(U))]\leqslant\log(E[f_W(U)/f_U(U)])\leqslant\log(1)=0$$ Ahora, toma $\log f_W(U)=L(\theta;U)$ y $\log f_U(U)=L(\theta_0;U)$ de modo que $$ E[L(\theta;U)]-E[L(\theta_0;U)]=E[\log(f_W(U)/f_U(U))]\leqslant 0, $$ lo que establece la desigualdad débil.

Ahora, bajo identificación global, $Z$ es una v.r. no degenerada, por lo que la desigualdad es estricta.