Ayuda a comprender esta fórmula sobre información mutua (utilizada en bioinformática)

Question

Estoy un poco perdido en la comprensión de esta fórmula en mi bioinformática de texto, y agradezco cualquier consejo o asesoramiento.

La Información mutua, $\operatorname{MI}(X; Y)$ es: $$ \mu = \sum_x \sum_y p(xy) \log \left( \frac{p(x)}{p(x) p(y)} \right). $$ Si $X$ $Y$ son independientes de r.v.'s, a continuación,$\operatorname{MI} = 0$.

Enlace Original.

Por el camino, Es parte de esta imagen más grande

Muchas gracias.

Answer 1

Así, sin un poco más de fondo sobre el que las partes se entiendan y qué partes no, es difícil medir el nivel en el que a la cancha de la explicación. Sin embargo, la situación es esta:

Tenemos dos discretas variables aleatorias X y y, que en este caso representan los nucleótidos en una determinada posición en una secuencia de ADN, por lo $X$$Y$, los valores de a, C, G y T.

En la ecuación anterior, $p(xy)$ denota ${\rm Pr}[X = x,\; Y = y]$, es decir, la probabilidad de que X toma el valor x e y toma el valor Y. $p(x)$ denota ${\rm Pr}[X = x]$, la probabilidad de que $X$ toma el valor de$x$, sin considerar a $Y$, y del mismo modo para $p(y)$. Así que, en otras palabras, podríamos escribir esto en forma legible como

$${\rm MI}(X; Y) = \sum_{x \in \{A, C, G, T\}} \sum_{y \in \{A, C, G, T\}} {\rm Pr}[X = x,\; Y = y] \log \left( \frac{{\rm Pr}[X = x, Y = y]}{{\rm Pr}[X = x] {\rm Pr}[Y = y]}\right)$$

Si $X$ $Y$ son independientes, entonces

$${\rm Pr}[X = x,\; Y = y] = {\rm Pr}[X = x] {\rm Pr}[Y = y]$$

así tenemos

$$\log \left( \frac{{\rm Pr}[X = x, Y = y]}{{\rm Pr}[X = x] {\rm Pr}[Y = y]}\right) = \log 1 = 0$$

para cada posible elección de $x$$y$, y por lo tanto, cuando se calcula el $MI(X; Y)$ estamos añadiendo hasta dieciséis ceros, lo que explica por qué se dice que el $MI(X; Y) = 0$ al $X$ $Y$ son independientes.

Si usted todavía se acostumbra a probabilidades y estadísticas, no vas a coger algo como esto en el primer intento. Trata de dibujar una cuadrícula de 4x4 con las distintas posibilidades, rellenar con diferentes probabilidades, y el cálculo de la información mutua para ver cómo funciona.

EDIT: puedes probarlo en

https://docs.google.com/spreadsheet/ccc?key=0AhBSLKlaRyzedHhHX2d4LXlPR2lmMmVORzg3ZjBleUE&hl=en_US

Sólo asegúrese de que sólo para editar las celdas amarillas. También puede consultar el artículo de la Wikipedia:

http://en.wikipedia.org/wiki/Mutual_information