Sé que existe una estrecha relación entre la entropía de Shannon y la entropía termodinámica: incluso tienen las mismas unidades y sólo difieren en un factor constante. Esto sugiere que ambas describen intrínsecamente el mismo concepto fundamental.
Wikipedia dice que existe una fuerte relación entre la información de Fisher y la entropía relativa (también llamada divergencia de Kullback-Leibler), al igual que una respuesta a un pregunta anterior en Math.SE.
Sin embargo, si nos fijamos en las fórmulas pertinentes, no parece que la información de Fisher se mida con las mismas unidades que la entropía relativa. Esto sugiere que están midiendo conceptos físicos fundamentalmente distintos, aunque relacionados.
La fórmula de la entropía de Shannon puede escribirse de la siguiente manera: $$\int [ - \log p(x) ]\ p(x) \, dx $$ Suele medirse en bits.
¿Cuáles son las unidades de información de Fisher (dado que la entropía de Shannon puede medirse en bits)?
La información de Fisher puede escribirse como: $$\int \left(\frac{\partial}{\partial \theta} \log p(x; \theta) \right)^2 p(x;\theta) \, dx $$
Mi suposición, basada en la comparación de las definiciones de entropía de Shannon e información de Fisher, es que esta última se mediría en unidades algo así como $$\frac{\text{bit}^2}{\Theta^2} $$ donde $\Theta$ es la unidad de medida del parámetro $\theta$ que debe estimarse.
No sé muy bien cómo tener en cuenta los efectos de la diferenciación parcial adicional en comparación con la definición de entropía de Shannon. Tal vez la operación de expectativa $\int ( \cdot) p(y) \, dy$ debería dejar las unidades sin cambios, aunque no sé cómo dar una explicación no intuitiva de esta sospecha.
Dado que la información de Fisher es la varianza de la puntuación, esta pregunta podría responderse derivando primero las unidades de la puntuación.
Esta pregunta podría estar relacionado, aunque quedó sin respuesta.
1 votos
$$ \int \left( { \frac{\partial}{ \partial \theta} } \log p(x; \theta) \right)^2 p(x;\theta) \, dx$$ La respuesta de Qwerty es claramente correcta, pero esto plantea una duda: Normalmente las unidades de $p(x)$ serían los recíprocos de los de $x$ de modo que $p(x)\,dx$ es adimensional. Pero, entonces, ¿cómo podemos tomar un logaritmo de $p(x)$ ? Debe significar el logaritmo del cociente de $p(x)$ por alguna "constante" (donde "constante" significaría que no depende de $x$ ) y debe resultar que la integral en su conjunto no depende de esa constante, y quizás la propia derivada parcial tampoco. $\qquad$
0 votos
@MichaelHardy ¿Tal vez el principio de Landauer da una constante con unidades? Es decir, un "bit" corresponde en realidad a julios: es.wikipedia.org/wiki/Principio de Landauer%27s#Ecuación . Si suponemos que es así, entonces las unidades de información de Fisher serían $$\frac{Joules^2}{ \Theta^2} ?$$
1 votos
Puede que vuelva a este hilo más tarde. Pero, ¿puedo convencerte de que escribas $\dfrac{ \text{Joules}^2}{ \Theta^2}$ en lugar de $\dfrac{Joules^2}{ \Theta^2} \text{?} \qquad$
0 votos
@MichaelHardy jaja por supuesto -- yo estaba siendo perezoso y no lo puso en \text o \mathrm