Entropía de la matriz

Question

Estoy tratando de entender la entropía. Por lo que sé podemos obtener la entropía de una variable digamos X.

Lo que no entiendo es cómo calcular la entropía de una matriz digamos m*n. Pensé que si las columnas son los atributos y las filas son los objetos, podemos sumar la entropía de las columnas individuales para obtener la entropía final (siempre que los atributos sean independientes). Tengo un par de preguntas

1. ¿Es correcto mi entendimiento en el caso de los atributos independientes?
2. ¿Y si los atributos son dependientes? ¿Qué ocurre con la entropía? ¿Es ahí donde entra la entropía condicional?

Gracias

Answer 1

En primer lugar, hay que tener en cuenta que en realidad hay muchas definiciones de entropía. La más común es la llamada entropía de información de Shannon
$$H(X) = -\sum_{i=1}^{n}p_i\log p_i$$ donde $p_i$ es la probabilidad de ver el $i$ El posible resultado de $X$ .

Por lo tanto,

1. La entropía se define en estrecha relación con la distribución de probabilidad de la variable aleatoria $X$
2. A la entropía no le importa la correlación o la independencia, porque sólo importa la distribución de la probabilidad.
3. Sí, tenemos entropía condicional, ver las páginas de la wiki para más detalles.

No estoy seguro de en qué contexto quieres encontrar la entropía de una matriz, pero en el procesamiento de imágenes, donde las imágenes están representadas por matrices. La forma de medir la entropía de una imagen es

1. Encontrar la distribución de las intensidades de los píxeles (es decir, la distribución de los valores de los elementos)
2. Calcular la entropía mediante la fórmula de la entropía de la información

Answer 2

Quizá te interese la entropía de Von Neumann de una matriz, que se define como la suma de las entropías de los valores propios. Es decir, para $$A = P \begin{bmatrix}\lambda_1 \\ & \lambda_2 \\ && \ldots \\ &&& \lambda_n \end{bmatrix} P^{-1}$$ con un resultado positivo $\lambda_i$ la entropía es, $$H(A):=-\sum_i \lambda_i \log \lambda_i.$$

Para más información sobre la definición de la entropía de von Neumann, puede consultar aquí en wikipedia y para saber cómo maximizarlo numéricamente puedes mirar mi respuesta en este hilo de intercambio de pilas de informática .

En el caso de las matrices rectangulares, se podría ampliar la definición sustituyendo los valores propios por valores singulares en la SVD, aunque no está claro qué significaría esto.