Creo que Ariel Caticha ha aportado algunas ideas interesantes sobre la interpretación de la Entropía Máxima y su relación con la Inferencia Bayesiana.
Como él mismo dice, una buena revisión pedagógica es su libro (inacabado) pero también se pueden consultar los artículos que se publican en arXiV.
Me referiré a algunas de las ideas principales aquí con la esperanza de que ayude a responder a la pregunta (aunque no estoy seguro de ello, si los moderadores creen que no va al grano también puedo borrarlo)
Cox, Jaynes y muchos otros han demostrado cómo la probabilidad es la teoría fundamental para tratar situaciones de información incompleta. Si se asume la desiderata no queda más remedio que utilizar probabilidades (condicionales).
Pero incluso Jaynes solía decir, como usted mismo ha referido, que actualización de probabilidades mediante la regla de Bayes o asignación de probabilidades utilizando MaxEnt eran cosas totalmente distintas.
Lo que Ariel hizo, basándose en el trabajo de varias otras personas (en particular Skilling, Shore & Johnson; probablemente me estoy olvidando de otros), fue demostrarlo:
-
La máxima entropía es una herramienta para actualización de distribuciones de probabilidad al descubrir nueva información/datos que limitan nuestros conocimientos sobre la inferencia que hemos estado haciendo;
-
La máxima entropía, al igual que las probabilidades, también proceden de un conjunto de desiderata Por lo tanto, no se podría utilizar otra herramienta para actualizar las probabilidades si se está de acuerdo con las imposiciones realizadas al principio.
De ahí podemos sacar 2 corolarios, que él también demuestra:
-
El proceso de asignación de probabilidades que mencionaba Jaynes proviene únicamente de la elección de un prior uniforme;
-
Entropía máxima es igual que la regla de Bayes (por tanto, la inferencia bayesiana, podríamos decir) en el caso particular de que la nueva información venga en forma de datos .
Supongo que esto cubre el MaxEnt $\leftrightarrow$ Enlace bayesiano
No puedo decir mucho de la otra, MaxEnt $\leftrightarrow$ Máxima Verosimilitud, pero creo que tienes razón en que se conectan de algún modo a través de la regla de Bayes:
$$ p(x|\mathrm{data}) \propto p(\mathrm{data}|x) p(x) $$
Si se hace un MAP ( máximo a posteriori que suele considerarse un método bayesiano) y toma una estimación a priori uniforme $p(x)$ de hecho lo que uno está haciendo es maximizar la probabilidad $p(\mathrm{data}|x)$ . Pero realmente no tengo experiencia para decir más que eso.
