Estoy trabajando en un problema en el que necesito calcular la información mutua entre dos variables aleatorias $m$ y $z$ dada una transformación lineal $\mathbf{G}$ . En este problema, $m$ se convierte en $x$ a través de una transformación no lineal y luego $z$ viene dada por $$ z = \Gamma\left[ \mathbf{G} x + w \right], $$ donde w es un ruido gaussiano blanco aditivo y $\Gamma \left[ \cdot \right] $ es una función de suelo.
La información mutua es entonces, $$ I(m; z | \mathbf{G}) = h(m| \mathbf{G}) - h(m | z, \mathbf{G}). $$ Como $m$ y $\mathbf{G}$ son independientes, $$ I(m; z | \mathbf{G}) = h(m) - h(m | z, \mathbf{G}). $$
Ahora necesito encontrar una manera de calcular $ h(m | z, \mathbf{G}) $ que he probado utilizando la siguiente propiedad: $$ h(m | z, \mathbf{G}) = h(z, m | \mathbf{G}) - h(z, m| \mathbf{G}). $$
Mi pregunta es: ¿cómo se pueden interpretar las entropías $ h(m| z,\mathbf{G}) $ y $ h(z, m| \mathbf{G}) $ ?
Para ser más específicos:
-
Es $ h(m | z, \mathbf{G}) $ la entropía de $m$ dado $ z $ y $ \mathbf{G} $ ?
-
En este caso podría hacer $ h(m | z, \mathbf{G}) = h(m|z) $ aunque $z$ depende de $ \mathbf{G} $ ?
-
Es $ h(z, m | \mathbf{G}) $ la entropía de una variable aleatoria originada por $z$ y $ m | \mathbf{G} $ o es la entropía condicional de una variable aleatoria originada por $m$ y $z$ , dado $\mathbf{G}$ ? Creo que es el último caso, pero no estoy seguro. Este es el más confuso para mí.
Gracias por cualquier ayuda y por entender esta confusa cuestión (al menos para mí). El objetivo principal es conseguir una expresión sin condicional si es posible, aunque sea un límite superior/inferior, así que no dudéis en dar cualquier otra indicación si lo deseáis. Además, cualquier material que pueda ser de ayuda para resolver esto también es muy apreciado. Estoy disponible para proporcionar cualquier información adicional si es necesario.
Actualizar la pregunta con información adicional:
El ruido es $ w \sim \mathcal{CN}(0, \sigma^2)$ . La variable aleatoria $m$ está distribuido uniformemente de forma discreta, por ejemplo, extraído de un conjunto de modulación QPSK $ \left\{ \frac{1}{\sqrt{2}} + i\frac{1}{\sqrt{2}}, \frac{1}{\sqrt{2}} - i\frac{1}{\sqrt{2}}, -\frac{1}{\sqrt{2}} + i\frac{1}{\sqrt{2}}, -\frac{1}{\sqrt{2}} - i\frac{1}{\sqrt{2}} \right\} $ .
La variable $x$ se puede obtener como $$ x(n)=\frac{1}{h_0}\Gamma\left[m(n)-\sum_l^{ }h_lx(n-l)\right] $$ , donde $n$ es un índice de tiempo, y $h_l \sim \mathcal{NC}(0, \sigma_l^{2})$ son las derivaciones de los canales, y $$\Gamma \left[ \alpha \right ] = \alpha - 2A \left\lfloor\frac{\alpha + A +jA}{2A} \right\rfloor$$ y $A$ es una constante.
La transformación $\mathbf{G}$ es en realidad una matriz de convolución que contiene las derivaciones de un canal $g_l$ . Así, $ \mathbf{G} x $ es el resultado del filtrado $x$ por un filtro con respuesta inpulso $g$ . Ambos $g$ y $h$ son respuestas impulsivas finitas.
Mi objetivo es calcular la información mutua para cuando $g \neq h $ y son independientes entre sí, mientras que la solución para el caso $ h = g $ es bien conocido y viene dado por $$ I(m; z|H) = I(m; z) = h\left(\Gamma[m+w]\right)-h\left(\Gamma[w]\right) $$
