No tengo Hobson del libro, pero tengo un papel por Hobson en la cual prueba el teorema de que la Wikipedia es presumiblemente en referencia a:
Arthur Hobson, Un nuevo teorema en la teoría de la información. Revista de Física Estadística 1 (1969), 383-391.
(Lo que un título. Lejos están los días en que usted puede conseguir lejos con eso!!!)
Aquí Hobson del teorema. Deje $I(p; q)$ definirse para cualquier par de distribuciones de probabilidad $p, q$ sobre un conjunto finito. Supongamos que satisface las propiedades siguientes. A continuación, $I$ es una constante múltiples de la relación de la entropía.
Antes de que me de la lista de las propiedades, permítanme hacer un comentario: la frase "vamos a ... se define" es su. Él no precisa sobre el codominio de la función $I$. Veo que no se menciona el hecho de que la relación de la entropía puede ser infinito, y es posible que se asume tácitamente que la $I(p; q)$ es siempre no negativo.
Sus propiedades:
$I$ es una función continua de su $2n$ variables. (De nuevo, no sé cómo/si él se encarga de los infinitos. Como John Tobias aclaran en su papel, la continuidad relativa de la entropía tiende a $\infty$ es en realidad un difícil punto).
$I$ es de permutación-invariante (haciendo la misma permutación de los dos argumentos). En realidad, él sólo los estados invariancia bajo una sola transposición, pero obviamente que es equivalente.
$I(p; p) = 0$ para todos los $p$.
$I((1/m, \ldots, 1/m, 0, \ldots, 0); (1/n, \ldots, 1/n))$ es una función creciente de $n$ y una disminución de la función de $m$, para todos los $n \geq m \geq 1$. (No sé si él significa el aumento y la disminución en el estricto o en sentido débil.)
Tenemos
\begin{align*}
&
I((p_1, \ldots, p_m, p_{m + 1}, \ldots, p_n); (q_1, \ldots, q_m, q_{m + 1}, \ldots, q_n)) \\
&
=
I((P, P'); (Q; Q')) + P\cdot I((p_1/P, \ldots, p_m/P); (q_1/Q, \ldots, q_m/Q))\\
&
\quad + P'\cdot I((p_{m + 1}/P', \ldots, p_n/P'); (q_{m + 1}/Q', \ldots, q_n/Q'))
\end{align*}
para todas las distribuciones de probabilidad de $p$ e $q$ y todos los $m \in \{1, \ldots, n\}$, donde hemos puesto $P = p_1 + \cdots + p_m$, $P' = 1 - P$, $Q = q_1 + \cdots + q_m$, y $Q' = 1 - Q$. (Aunque se los divide por $P$, $P'$, $Q$ y $Q'$ aquí parece que no es decir qué hacer si son cero.)
Este teorema es más débil que el resultado en mi anterior respuesta. En que otra respuesta, su continuidad axioma es reemplazado por la mensurabilidad, la permutación de invariancia y la desaparición de los axiomas de la misma, y su cuarto axioma (sobre el aumento/disminución) simplemente no está allí. La última axiomas en ambas listas se ven diferentes, pero en realidad son equivalentes. Esto toma un poco de explicación, de la siguiente manera.
Como usul señala, la mayoría de los teoremas de caracterización de las entropías implican un axioma mirando como estos. De hecho, ambos de Hobson último axioma y el último axioma en mi anterior respuesta son casos especiales de la siguiente axioma general, que me han dicho que es conocida como la "regla de la cadena".
Para el estado, permítanme presentarles a algunos de notación. Dado a las distribuciones de probabilidad de $\mathbf{w}$ a $n$ elementos, $\mathbf{p}^1$ a $k_1$ elementos, ..., $\mathbf{p}^n$ a $k_n$ elementos, se obtiene una distribución
$$
\mathbf{w} \circ (\mathbf{p}^1, \ldots, \mathbf{p}^n)
=
(w_1 p^1_1, \ldots, w_1 p^1_{k_1}, \ \ldots, \ w_n p^n_1, \ldots, w_n p^n_{k_n})
$$
en $k_1 + \cdots + k_n$. El uso de esa notación, la regla de la cadena para la relación de la entropía de los estados que
$$
D\bigl(\mathbf{w} \circ (\mathbf{p}^1, \ldots, \mathbf{p}^n) \,\|\, \tilde{\mathbf{w}} \circ (\tilde{\mathbf{p}}^1, \ldots, \tilde{\mathbf{p}}^n)\bigr)
=
D(\mathbf{w} \,\|\, \tilde{\mathbf{w}}) + \sum_{i = 1}^n p_i D(\mathbf{p}^i \,\|\, \tilde{\mathbf{p}}^i).
$$
Es fácil ver que tanto de Hobson último axioma y el último axioma en mi anterior respuesta son casos especiales de esta regla general. Pero por inductivas argumentos, uno de estos casos, implica en el caso general. Por eso digo que son equivalentes.
Si se puede encontrar el caso general o uno de los casos especiales más atractivo es una cuestión de gusto.
