Cómo calcular la información mutua

Question

Yo estudio acerca de la Información Mutua, pero me confunden acerca de eso. Yo estudio en este papel que la información mutua es:$$I(x,y)=\iint p(x,y)\log\frac{p(x,y)}{p(x)p(y)}\,\mathrm dx\mathrm dy,$$ donde $x, y$ son dos vectores, $p(x,y)$ es el joint probabilísticos, densidad, $p(x)$ e $p(y)$ son marginales probabilística de densidades. MI se usa para cuantificar tanto la relevancia y la redundancia.

Para la comprensión de la MI, me han proporcionado un pequeño conjunto de datos como este: $$ \begin{matrix} &f_1&f_2 &f_3\\ c_2 & -1 & 0 & 1\\ c_1 & 0 & 1 & -1\\ c_1 & 1 &-1 & 0\\ c_2 & 0 & 1 & 1 \end{de la matriz} $$ donde $f_1,f_2,f_3$ 3 características para la clasificación y el $c_1, c_2$ son de mis clases.

• ¿Cómo puedo calcular la joint probabilísticos, densidad, $p(x,y)$ en este ejemplo?
• ¿Se puede explicar cómo puedo calcular la información mutua en este ejemplo el uso de la ecuación anterior, $I(x,y)$?

Answer 1

Tome la primera a la característica $f_1$ y construir la combinación histograma $(feature\ state,class\ state)$. Sus características han $3$ estados $\{-1,0,1\}$, las clases tienen $2$ estados $\{c=1,c=2\}$. Para construir el histograma simplemente contar la combinación de las apariciones:

\begin{array}{|c|c|c|} \hline & c=1 & c=2 \\ \hline f_1=-1 & 0 & 1 \\ \hline f_1=0 & 1 & 1 \\ \hline f_1=+1 & 1 & 0 \\ \hline \end{array}

Usted ver que $f_1=0$ es poco informativo, debido a que $c=1$ o $c=2$ son posibles con igual probabilidad. Sin embargo, si $f_1=-1$, con los datos que tenemos, es a priori $c=2$ (porque tiene cero conteo de $c=1$). Mutuo informativo cuantificar exactamente esto. Para calcular, primero debe normalizar su histograma 2D tal que $\sum h_{ij}=1$ y usted debe calcular marginales $p(feature)$ e $p(class)$

$$ p(característica de la clase)=\left(\begin{array}{cc} 0 & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & 0 \\ \end{array}\right)\ p(característica)=\left(\begin{array}{c} \frac{1}{4} \\ \frac{1}{2} \\ \frac{1}{4} \\ \end{array}\right)\ p(clase)=\left(\frac{1}{2},\ \frac{1}{2}\right) $$ a continuación, calcular: $I(x,y)=\int\int p(x,y) \frac{\log p(x,y)}{ p(x) \cdot p(y)}dxdy$ como sigue: $$ I(característica de la clase)=\sum_{i=1,2,3}\sum_{j=1,2}p (\ i,clase\ j)\log\frac{p (\ i,clase\ j)}{p (\i)p(class\ j)} $$ A continuación, repita el mismo cálculo para la función de $f_2$ e $f_3$. El uno con la máxima información mutua es el más discriminativo para adivinar la clase.

Answer 2

Seguro. Usted tiene 3 natural papeleras, $\{\{-1\},\{0\},\{1\}\}$ (a veces el bin-división no es tan fácil. Incluso puede ser la parte más difícil, decir, por ejemplo, tiene números de punto flotante y no hay límites naturales de datos.).

Conjunto discreto hace que nuestra integral doble de una suma doble. Permítanos estimación de $p(x,y)$ empezamos $f_1,c_1$: tenemos dos mediciones, una de 0 y 1, la densidad se vuelve $\{0,1/2,1/2\}$

Ahora hay que hacer el mismo para todos los demás.

Para $p(x)$ solo contamos con todos los $f_1$ independientemente de $k$ en $c_k$: para la 1: tenemos 1 "-1"2 "0"s y 1 "1"s de esto nos da una densidad de $\{1/4,2/4,1/4\}$ para $f_1$. Ahora a seguir por los demás.

Para $p(y)$ hacer el mismo conteo pero por fila en lugar de la columna sabio.

Una vez que se han calculado las estimaciones para $p(x,y)$, $p(x)$, $p(y)$, conecte los valores y calcular la suma doble.