Es bien sabido que de todas las distribuciones conjuntas $p(x,y)$ con márgenes fijos $p(x),p(y)$ el que tiene la mayor entropía es: $$ p(x,y)=p(x)p(y). $$
Supongamos, en cambio, que tenemos condicionales. A saber:
¿Qué distribución de probabilidad $p(x,y,z)$ , con un fijo $p(x|y)$ y $p(x|z)$ ¿tiene la máxima entropía?
¿hay siquiera una fórmula explícita?
(Nota: uno tiene la tentación de tomar $p(x,y,z)$ tal que $p(x|y,z)=p(x|y)p(x|z)$ (pero creo que esto es engañoso, ¿no?)
Siéntase libre de editar la pregunta y las etiquetas apropiadamente.
Gracias.
(Publicado de forma cruzada desde Validación cruzada donde nadie pudo responder).
2 votos
Visite $x$ , $y$ y $z$ toman sus valores de conjuntos finitos? Quizás, también podrías comentar por qué empiezas con tres variables (en lugar de dos), y por qué sólo tienes $p(x|y)$ y $p(x|z)$ como restricciones y no, digamos, $p(x|y,z)$ , $p(y|z,x)$ y $p(z|x,y)$ o cualquier otra opción.
0 votos
Una solución de forma cerrada para la distribución máxima con marginales dados (más allá de 1-marginales) es bastante desconocida. (Por "bien desconocida" quiero decir "bien conocida que no se conoce". Incluso podría saberse que tal cosa no existe... De un rápido google, ver p. 10 aquí .) Utilizando los multiplicadores de Lagrange siempre se puede escribir en forma exponencial, pero los términos que aparecen en esa fórmula exponencial no tienen fórmulas cerradas sencillas...