¿Qué es el distribución máxima de la entropía para una variable continua positiva, dados sus primeros y segundos momentos?
Por ejemplo, una distribución Gaussiana es la distribución de entropía máxima para una variable sin límites, dada su media y su desviación estándar, y una distribución Gamma es la distribución de entropía máxima para una variable positiva, dado su valor medio y el valor medio de su logaritmo.
Se puede utilizar simplemente el teorema de Boltzmann que está en el mismo artículo de Wikipedia que usted señala .
Nótese que especificar la media y la varianza es equivalente a especificar los dos primeros momentos brutos - cada uno determina al otro (en realidad no es necesario invocar esto, ya que podemos aplicar el teorema directamente a la media y a la varianza, sólo que es un poco más sencillo de esta manera).
El teorema establece entonces que la densidad debe ser de la forma
$$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$$
La integrabilidad sobre la recta real positiva restringirá $\lambda_2$ para ser $\leq 0$ y creo que pone algunas restricciones en las relaciones entre los $\lambda$ s (que presumiblemente se satisfará automáticamente si se parte de la media y la varianza especificadas en lugar de los momentos brutos).
Para mi sorpresa (ya que no lo esperaba cuando empecé esta respuesta), esto parece dejarnos con una distribución normal truncada.
Por cierto, creo que no he utilizado este teorema antes, así que serán bienvenidas las críticas o sugerencias útiles sobre cualquier cosa que no haya tenido en cuenta o que haya omitido.
+1 Gracias. Parece que está bien. Cuando leí el artículo de la Wikipedia, parece que se me escapó el hecho de que el teorema de Boltzmann se aplica para todos los intervalos cerrados. Había supuesto que se aplicaba sólo a las variables que van de $-\infty$ a $\infty$ .
Por alguna razón, la medida base uniforme y la distribución normal truncada resultante no me convencen del todo: Como subraya Fred Schoen, para encontrar la máxima entropía (relativa) en el caso continuo necesitamos una medida base o una distribución de probabilidad de referencia. Dado que la variable continua $x$ en cuestión es positiva, podría ser una variable de escala, y una medida base proporcional a $1/x$ luego se recomienda por diversas razones (por ejemplo, la invariancia de grupo; véase el libro de Jaynes o el de Jeffreys).
Con esta medida base la distribución resultante es proporcional a $$ \frac{1}{x}\exp(-\alpha x- \beta x^2) $$ pero desgraciadamente no es normalizable (aunque podría utilizarse como un previo impropio). Dada la positividad de la variable en cuestión, puede valer la pena considerar si los momentos de su logaritmo pueden tener más sentido como portadores de información y restricciones de máxima entropía. Llevarían a distribuciones de máxima entropía de tipo gamma.
Quiero hacer más explícita la respuesta de @Glen_b, aquí hay una respuesta extra sólo porque no cabría como comentario.
El formalismo, etc., está bien explicado en Los capítulos 11 y 12 del libro de Jaynes . Tomando la distribución uniforme como medida base, la solución general, como ya dijo @Glen_b, es una gaussiana $$ f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2)) $$ Para la variable no limitada, se pueden resolver explícitamente los multiplicadores de Lagrange $\lambda_1$ y $\lambda_2$ en términos de los valores de las restricciones ( $a_1, a_2$ en el artículo de Wikipedia). Con $a_1=\mu, a_2=\mu^2 + \sigma^2$ , se obtiene entonces $\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$ por lo que la gaussiana estándar $\mathcal{N}(x|\mu, \sigma^2)$ .
Para la variable acotada $x>x_{min}$ Yo (y Mathematica) no puedo resolver para $\lambda_{1,2}$ explícitamente debido al término de la función de error que aparece al calcular la función de partición ( $1/c$ en la wikipedia). Esto significa que el $\mu$ y $\sigma^2$ los parámetros de la gaussiana truncada son no la media y la varianza de la variable continua con la que comenzó. Incluso puede ocurrir que para $x_{min}=0$ el modo de la gaussiana es negativo. Por supuesto, los números vuelven a coincidir cuando se toma $x_{min} \to -\infty$ .
Si tiene valores concretos para $a_1, a_2$ , todavía se puede resolver para $\lambda_{1,2}$ numéricamente y enchufar las soluciones en la ecuación general y ¡ya está! Los valores de $\lambda_{1,2}$ del caso no limitado puede ser un buen punto de partida para el solucionador numérico.
Esta pregunta es un duplicado de https://math.stackexchange.com/questions/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
