Demostrar que la distribución de máxima entropía con una matriz de covarianza fijo es una gaussiana

Question

Estoy tratando de conseguir mi cabeza alrededor de la siguiente prueba que la gaussiana tiene entropía máxima.

¿Tiene sentido el paso estrellado? Una covarianza específica sólo corrige el segundo momento. ¿Qué pasa con el tercero, cuarto, quinto momentos etc.?

Answer 1

La protagonizó paso es válida debido a que (a) $p$ $q$ tienen el mismo cero y segundo momentos y (b) $\log(p)$ es un polinomio de la función de los componentes de $\mathbf{x}$, cuyos términos han total grados $0$ o $2$.

---

Usted necesita saber dos cosas acerca de una distribución normal multivariante con cero significa:

1. $\log(p)$ es una función cuadrática de $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ sin términos lineales. Específicamente, hay constantes $C$ $p_{ij}$ que $$\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$$

   (Por supuesto, $C$ e las $p_{ij}$ puede ser escrito en términos de $\Sigma$, pero este detalle no importa.)

2. $\Sigma$ da el segundo de los momentos de la distribución. Es decir, $$\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$$

Podemos utilizar esta información para trabajar de forma integral:

$$\eqalign{ & &\int(p(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(p(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$$

Se rompe en la suma de dos partes:

• $\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$, debido a que tanto $q$ $p$ son funciones de densidad de probabilidad.

• $\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ debido a que cada una de las integrales en el lado derecho, $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$$\int p(\mathbf{x}) x_i x_jd\mathbf{x}$, tiene el mismo valor (es decir, $\Sigma_{ij}$). Esto es lo que el comentario de "producir los mismos momentos de la forma cuadrática" es la intención de decir.

El resultado se sigue inmediatamente: desde $\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$, llegamos a la conclusión de que $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

Answer 2

Creo que lo que pasa es que en las integrales de ambas (4.27) y (4,28) $q(x)$ $p(x)$ multiplicando términos y de la forma $\sigma_{ij}x_ix_j$ (ya $p(x)$ es una densidad normal, cuando se toma el registro de obtener ese tipo de términos de la exponente más constantes). Pero luego la condición en el teorema asegura que integran esos términos multiplicados por o $p(x)$ $q(x)$ el mismo valor.