7 votos

¿Cuántos tipos de información matemática existen?

Soy consciente de, al menos, dos tipos de información matemática:

  1. Shannon, que es el negativo de la entropía (es decir, una pérdida de entropía por $n$ bits es precisamente una ganancia de Shannon información de $n$ bits). Uno también tiene mutuo y condicional información de dos variables aleatorias, y la teoría de la información es el nombre de este tipo.

  2. Fisher información. Este tipo es aparentemente muy utilizadas y se considera en las estadísticas, al mejor de mi conocimiento limitado. También se supone que el origen del nombre de la información de la geometría (desde el Pescador información métrica la métrica de Riemann).

Mi pregunta: Hay otros conceptos de la matemática de la información que me estoy perdiendo? ¿Cuántos tipos de información matemática existen?

2voto

BruceET Puntos 7117

Sin duda las dos mencionadas son importantes, y tal vez el más ampliamente conocido.

Para los datos categóricos hay Sorenson del índice de similitud. (Aproximadamente, la probabilidad de que un seleccionados al azar individual en mi población le pertenecen a la misma categoría I.) Ver Wikipedia en categorical datade varios más.

En un sentido aleatorio de datos tiene menos estructura o la 'información' que los datos con algunos aleatoria de la estructura. Ejecuta pruebas de autocorrelación y las funciones son maneras de juzgar la aleatoriedad.

En su famosa afirmación de que se tarda aproximadamente 7 baraja poner una baraja de cartas en orden aleatorio, Persi Diaconis utiliza el concepto de aumento de secuencias como una medida de información que podría ser explotado por un jugador. (El aumento de las secuencias de han sido utilizados por los magos haciendo trucos de cartas durante más de un siglo.) Google Diaconis shuffle encontrar un NYT artículo sobre este tema y el papel por Bayer y Diaconis con maravillosos detalles matemáticos.


Digresión: voy a dejar la definición de 'rising secuencia' a Bayer y Diaconis. Una baraja en orden de 1 a 52 tiene un aumento de la secuencia. Uno shuffle (cortar y fusileros) resultados en el aumento de dos secuencias, dos baraja generalmente en cuatro. Al azar que se permutan cubierta promedios 26.5 aumento de las secuencias. El la figura a continuación, sobre la base de simulaciones, se muestra cómo la distribución de la número de aumento de las secuencias se acerca a la distribución de un al azar de la cubierta (parte inferior derecha) como el número de baraja aumenta.

enter image description here


Código de fabricantes y disyuntores tienen varias medidas de contenido de información en una cadena de caracteres. Algunos de estos se pueden encontrar fácilmente libros y artículos sobre criptografía. No me sorprendería si algunos de los más útiles pueden haber sido descubierto por los matemáticos en el gobierno agencias y no están disponibles al público.

Hay un sentido en el que una Cadena de Markov puede contener más información de una secuencia de variables aleatorias independientes. La idea de una Cadena de Markov es que la observación actual puede ser útil en la la predicción de la siguiente.

Esta es una lista de un par de tipos y medidas de los puntos de vista y la información que se en uso práctico. Supongo que algunos de ellos pueden ser demostrado estar relacionada con para (tal vez incluso equivalentes) de Fisher o de la información de Shannon y que algunos no lo son. Mi propósito no es dar una lista exhaustiva, sino sólo sugerir que la lista de medidas de información, que es bastante grande y puede ser interminable.

Como de análisis de big data se convierte en cada vez más popular (y uno tiene la esperanza de un mejor centrado y organizado), tengo la sospecha de que la medición del contenido de la información en grandes bases de datos se convertirá en un importante campo de investigación.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X