¿Cuándo tiene la distribución uniforme entropía máxima en lugar de la distribución normal?

Question

Hasta donde sé, cuando solo tenemos datos y no restricciones (además de que las probabilidades deben sumar 1), la distribución que da máxima entropía es la distribución uniforme. Pero cuando conocemos la media y la varianza, agregamos 2 restricciones más por lo que la distribución que da máxima entropía es la Gaussiana.

Pero, ¿cómo podemos decidir eso? ¿Acaso todos los datos que recolectamos tienen una media y varianza, por lo que en todos los casos es una distribución normal? ¿Y qué pasa con otras distribuciones? No sé cómo podemos decidir, por ejemplo, si la distribución chi-cuadrado da máxima entropía, en qué circunstancias.

Creo que decidir qué restricciones tenemos me confunde, y para mí, con mi conocimiento limitado actual probablemente, no puedo ver un caso donde pueda elegir una distribución uniforme sobre una normal ya que puedo calcular la media y la varianza de mis datos.

Answer 1

Lo siento, pero te equivocaste.

• Sin ninguna restricción, no hay una distribución maxent, ya que por ejemplo las distribuciones uniformes en $[-n,n]$ tienen entropías que tienden a infinito con $n$. Debe haber algunas restricciones.

• Normalmente, las restricciones no provienen de los datos, sino de consideraciones externas. Si estás interesado en distribuciones en el intervalo $[a,b]$, los límites $a,b$ no provienen de los datos, sino de algún conocimiento externo "previo" del sistema.

• Aunque siempre puedes calcular medias/varianzas empíricas a partir de datos empíricos finitos, no siempre tienen un significado. Por ejemplo, ver ¿Cuál es la diferencia entre varianza finita e infinita?. Las restricciones de media/varianza utilizadas en maxent típicamente son teóricas, parámetros del modelo. Y no todas las distribuciones teóricas tienen medias o varianzas. Ver por ejemplo ¿Prueba de varianza finita?.

• En cuanto a la elección entre un rango finito y una descripción de media/varianza, que no provienen de los datos, ¡deben provenir de información previa sobre el sistema!