Entropía de una matriz con vectores fila con distribución Bernoulli (entradas binarias)

Question

La entropía $H[x]$ de una variable aleatoria binaria con distribución Bernoulli $x$ viene dado por : $$ H[x]=ln(1)ln(1) $$

donde $$ p(x=1)= \theta \\ p(x=0)=1 $$

Ahora, supongamos que tengo un vector como tal:

$$ \mathbf{x} = [1,0,1,1,0] $$

donde todos los elementos se muestrean según la distribución Bernoulli.

Considere además ahora que tengo una matriz, con estos tipos de filas, donde todas las filas son intercambiables:

$$ \mathbf{X} \triangleq [\mathbf{x}_1,\ldots,\mathbf{x}_4]^{\mathsf{T}} = \begin{bmatrix} 1 & 0 & 0 & 1 & 1 \\ 0 & 0 & 0 & 1 & 1 \\ 1 & 1 & 0 & 1 & 1 \\ 0 & 1 & 0 & 1 & 0 \end{bmatrix} $$

Por lo tanto, dado que las filas son independientes entre sí, y que su orden no cambia la probabilidad global de esta matriz (como suposición); ¿cómo calculamos la entropía de esta matriz?

EDIT: en general no considero las matrices cuadradas.

Answer 1

Sea la entropía de una matriz la suma de las entropías de los valores propios. Así que si ese es el caso, entonces para la matriz $\mathbf{X}$ . Formalmente, tenemos que calcular lo siguiente: \begin{equation} H(\mathbf{X})=-\sum_i \lambda_i\ln\lambda_i \end{equation}

Desde $SVD$ nos encontramos con que, $\lambda_1=2.95,\lambda_2=1.21,\lambda_3=0.83$ y $\lambda_4=0.34$ . Para obtener la respuesta, se complementan los valores de $\lambda_i$ para $i=1,2,3,4$ en la fórmula anterior.

Respuesta al comentario siguiente

Puede barajar las filas, pero esto no cambiará los valores propios.

Desde un punto de vista teórico, si una variable aleatoria se genera a partir de una secuencia independiente idénticamente distribuida, entonces también es intercambiable. En otras palabras, la independencia implica la intercambiabilidad, pero lo contrario no es cierto.

Empíricamente,

a<-c(1,0,1,0)
b<-c(0,0,1,1)
c<-c(1,1,1,1)
d<-c(1,1,1,0)

X<-cbind(a,b,c,d)
X <- X[sample(nrow(X)),]
svd(X)

obtenemos los mismos valores propios que antes $\lambda_1=2.95,\lambda_2=1.21,\lambda_3=0.83$ y $\lambda_4=0.34$ .

Respuesta a la edición

Considerando una matriz rectangular $R$ .

R<- as.matrix(data.frame(c(4,7,-1,8), c(-5,-2,4,2), c(-1,3,-3,6)))
R <- R[sample(nrow(R)),]
svd(R)

Así que, $\lambda_1=13.16$ , $\lambda_2=6.99$ y $\lambda_3=3.43$ . Para obtener el plugin de entropía los valores de $\lambda$ en la definición de entropía dada anteriormente. Se puede barajar la matriz rectangular, pero si los datos son i.i.d. los valores propios serán los mismos.