¿Cuándo las distribuciones de probabilidad están completamente determinadas por sus momentos?

Question

Si dos distribuciones de probabilidad diferentes tienen momentos idénticos, ¿son iguales? Sospecho que no, pero supongo que son "casi" iguales, por ejemplo, en todo menos en un conjunto de medida cero. ¿Alguien conoce un ejemplo de dos distribuciones de probabilidad diferentes con momentos idénticos? Cuanto menos patológico sea, mejor. Editar: ¿Es incondicionalmente cierto si me especializo en distribuciones discretas?

Y una pregunta relacionada: Supongamos que hago la misma pregunta sobre las entropías de Renyi. Recordemos que la entropía de Renyi se define para todo $a \geq 0$ por

$$H_a(p) = \frac{\log \left( \sum_j p_j^a \right)}{1-a}$$

Puede definir $a = 0, 1, \infty$ tomando los límites adecuados de esta fórmula. ¿Son dos distribuciones con entropías de Renyi idénticas (para todos los valores del parámetro $a$ ) son realmente iguales? ¿Cómo de "rígido" es este resultado? Si permito dos entropías de Renyi de las distribuciones $p$ y $q$ para diferir como mucho en un pequeño $\epsilon$ independiente de $a$ entonces puedo poner un límite superior, digamos.., $||p-q||_1$ en términos de $\epsilon$ ? ¿Qué se puede decir en el caso de las distribuciones discretas?

Answer 1

A grandes rasgos, si la secuencia de momentos no crece demasiado rápido, entonces la distribución está determinada por sus momentos. Una condición suficiente es que si la función generadora de momentos de una variable aleatoria tiene un radio de convergencia positivo, entonces esa variable aleatoria está determinada por sus momentos. Véase Billingsley, Probabilidad y medida , capítulo 30.

Un ejemplo estándar de dos distribuciones distintas con el mismo momento se basa en la distribución lognormal:

$$f_0(x) = \sqrt{2 \pi} x^{-1} e^{-(\log x)^2 /2}$$

que es la densidad de la lognormal, y la versión perturbada

$$f_a(x) = f_0(x)(1 + a \sin(2 \pi \log x))$$

Estos tienen los mismos momentos; es decir, el momento n de cada uno de ellos es exp(n 2 /2).

Una condición para que una distribución sobre los reales esté determinada por sus momentos es que lim sup _{k → ∞} (μ _2k ) 1/2k /2k es finito, donde μ _2k es el (2k)º momento de la distribución. Para una distribución apoyada en los reales positivos, lim sup _{k → ∞} (μ _k ) 1/2k /2k siendo finito es suficiente.

Este ejemplo es de Rick Durrett, Probabilidad: Teoría y ejemplos , 3ª edición, pp. 106-107; como fuente original de la lognormal Durrett cita a C. C. Heyde (1963) On a property of the lognormal distribution, J. Royal. Stat. Soc. B. 29, 392-393.

Answer 2

Como se ha mencionado en respuestas anteriores, los momentos no determinan de forma única las distribuciones a menos que se cumplan ciertas condiciones, como las distribuciones acotadas. Una cosa que se puede decir, es que la distribución de una variable aleatoria $X$ está determinada de forma única por la función característica $\phi_X(a)=E[\exp(iaX)]$ . Dejar $m_n=E[X^n]$ sea el $n^{th}$ momento, esto se puede ampliar como

$$\phi_X(a)=\Sigma_n \frac{i^na^nX^n}{n!}$$

que es válido dentro de su radio de convergencia. Así pues, los momentos determinarán de forma única la distribución siempre que ésta tenga un radio de convergencia infinito, lo cual es así siempre que $$\lim_{n\rightarrow\infty}\sup\left|\frac{m_n}{n!}\right|^{\frac{1}{n}}=0.$$ La fórmula de Stirling lo simplifica un poco a limsup _n→∞ |m _n | 1/n /n=0. Esto se puede demostrar utilizando el teorema de convergencia dominada.

Por ejemplo, una distribución está limitada por K si |m _n |≤K n que satisface esta condición.

Por otro lado, es posible construir distribuciones distintas soportadas en los enteros positivos y con los mismos momentos. Para ello, es necesario encontrar una secuencia de números reales c _n satisfaciendo Σ _n c _n n r \=0 para todo r (y convergiendo absolutamente). Esto no implica nada más que resolver algunas ecuaciones lineales para resolver esto para cualquier conjunto finito de potencias r. Entonces, al seguir añadiendo más términos para extender a todos los enteros positivos r, se obtiene la secuencia infinita c _n . Las dos distribuciones pueden obtenerse entonces tomando las partes positiva y negativa de c _n .

Answer 3

Esto suena como uno de los clásicos "problemas de momento" que han sido muy estudiados, aunque me temo que no conozco la literatura. Wikipedia sugiere que el término a buscar es Problema del momento de la hamburguesa

Una rápida búsqueda en Google también arroja un artículo de Stoyanov que debería tener algunos ejemplos de no-unicidad y punteros a la literatura.

Como sabrás, si sabemos de antemano que la densidad está confinada en algún intervalo acotado (digamos [-1,1] por ejemplo), entonces los momentos sí determinan la densidad. (Esto se debe básicamente a que la densidad está determinada por sus valores cuando se integra con funciones continuas, y las funciones continuas en un intervalo cerrado y acotado pueden aproximarse con una precisión arbitraria mediante polinomios)

Answer 4

Supongamos que todos los momentos existen para X e Y.

1) Si X e Y tienen soporte acotado, las FDA de X e Y son iguales si y sólo si todos los momentos son iguales.

2) Si las funciones generadoras de momentos existen y M_X(t) = M_Y(t) para todo t en una vecindad abierta de 0, entonces las FDA de X e Y son iguales.

Answer 5

En cuanto a su segunda pregunta:

La entropía de Renyi sólo depende de las probabilidades, y no de los valores que tome la VR; cualquier función 1-1 de la VR tiene la misma entropía.

Si se pregunta si la entropía de Renyi determina la secuencia de probabilidades p _i La respuesta es sí. Supongamos WLOG que p _i están en orden descendente. Entonces el límite cuando a tiende a infinito, de H _a es p ₀ . Una vez que sepa p ₀ es fácil calcular la entropía de la secuencia p ₁ , p ₂ lo que nos permite encontrar p ₁ etc.