Lucha por entender la relación entre dos definiciones de entropía

Question

Estoy familiarizado con la entropía tal y como se define en la teoría de la información, que es simplemente

$ H(X) = \sum_{i=1}^{n} p(x_{i}) \log p(x_{i}) $ ,

para un conjunto discreto de probabilidades. En términos de clustering, la entropía puede utilizarse para medir la calidad de una solución de clustering. Se define como,

$ E(S_{r}) = - \frac{1}{\log{q}} \sum_{i=1}^{q} \frac{n_{r}^{i}}{n_{r}} \log \frac{n_{r}^{i}}{n_{r}} $ ,

donde $S_{r}$ es una agrupación, $q$ es el número de clases del conjunto de datos, $n_{r}^{i}$ es el número de documentos del $i$ que fueron asignados a la clase $r$ 'th cluster y $n_{r}$ es el tamaño del cluster. La definición es exactamente la misma en Comparaciones empíricas y teóricas de funciones de criterio seleccionadas para la agrupación de documentos .

Entiendo la idea de por qué se utiliza, aunque no entiendo cómo hemos pasado de la primera definición de entropía a la segunda ecuación.

Answer 1

El $\dfrac{1}{\log q}$ en la segunda definición es un factor de normalización para que el valor de la entropía esté en el intervalo $[0, 1]$ .

Considerando la evaluación de un cluster, la entropía es máxima cuando presenta elementos de todas las clases en la misma proporción.

En este caso, $n_{r}^{i} = 1$ para $i = 1, \ldots, q$ y $ q = n$ . La entropía será: \begin{eqnarray} E(S_r) & = & -\sum_{i=1}^{q}\dfrac{1}{q}\log \dfrac{1}{q} \\ & = & -\log \dfrac{1}{q} = -(\log 1 - \log q) = \log q\\ \end{eqnarray}

Dado que la entropía máxima es $\log q$ La segunda definición utiliza este hecho para normalizar la entropía de un cluster.