¿Por qué la matriz de información de Fisher es semidefinida positiva?

Question

Deje que $ \theta \in R^{n}$ . La Matriz de Información de Fisher se define como:

$$I( \theta )_{i,j} = -E \left [ \frac { \partial ^{2} \log (f(X| \theta ))}{ \partial \theta_ {i} \partial \theta_ {j}} \bigg | \theta\right ]$$

¿Cómo puedo probar que la Matriz de Información de Fisher es semidefinida positiva?

Answer 1

Mira esto: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

A partir de la definición, tenemos

$$ I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, , $$ para $i,j=1,\dots,k$ en el que $\partial_i=\partial /\partial \theta_i$ . Su expresión para $I_{ij}$ se deduce de ésta bajo condiciones de regularidad.

Para un vector no nulo $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$ se deduce de la linealidad de la expectativa que $$ \sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, . $$

Si esta notación de los componentes es demasiado fea, observe que la matriz de información de Fisher $H=(I_{ij})$ puede escribirse como $H = \mathrm{E}_\theta\left[S S^\top\right]$ en el que el vector de puntuaciones $S$ se define como $$ S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, . $$

Por lo tanto, tenemos la frase única $$ u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0. $$

Answer 2

ADVERTENCIA: ¡no es una respuesta general!

Si $f(X|\theta)$ corresponde a una familia exponencial de rango completo, entonces el hessiano negativo de la log-verosimilitud es la matriz de covarianza del estadístico suficiente. Las matrices de covarianza son siempre semidefinidas positivas. Como la información de Fisher es una combinación convexa de matrices semidefinidas positivas, también debe ser semidefinida positiva.