La relación entre la distribución gamma y la distribución normal

Question

Hace poco me encontré con la necesidad de derivar una pdf para el cuadrado de una variable aleatoria normal con media 0. Por alguna razón, decidí no normalizar la varianza de antemano. Si lo hice correctamente, esta pdf es la siguiente:

$$ N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}} $$

Me he dado cuenta de que en realidad se trata de una parametrización de una distribución gamma:

$$ N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2) $$

Y entonces, del hecho de que la suma de dos gammas (con el mismo parámetro de escala) es igual a otra gamma, se deduce que la gamma es equivalente a la suma de $k$ variables aleatorias normales al cuadrado.

$$ N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2) $$

Esto me sorprendió un poco. Aunque sabía que el $\chi^2$ una distribución de la suma de los cuadrados estándar RVs normales -- era un caso especial de la gamma, no me di cuenta de que la gamma era esencialmente sólo una generalización que permite la suma de variables aleatorias normales de cualquier de la variante. Esto también conduce a otras caracterizaciones que no había encontrado antes, como que la distribución exponencial es equivalente a la suma de dos distribuciones normales al cuadrado.

Todo esto es algo misterioso para mí. ¿Es la distribución normal fundamental para la derivación de la distribución gamma, de la forma que he indicado anteriormente? La mayoría de los recursos que he consultado no mencionan que las dos distribuciones estén intrínsecamente relacionadas de esta manera, o incluso describen cómo se deriva la gamma. Esto me hace pensar que está en juego alguna verdad de nivel inferior que yo simplemente he resaltado de forma enrevesada.

Answer 1

Abordemos la cuestión planteada, Todo esto es algo misterioso para mí. ¿Es la distribución normal fundamental para la derivación de la distribución gamma...? Ningún misterio en realidad, es simplemente que la distribución normal y la distribución gamma son miembros, entre otros de la familia exponencial de distribuciones, cuya familia se define por la capacidad de convertir entre formas ecuacionales mediante la sustitución de parámetros y/o variables. En consecuencia, hay muchas conversiones por sustitución entre distribuciones, una algunos que se resumen en la siguiente figura.

LEEMIS, Lawrence M.; Jacquelyn T. MCQUESTON (febrero de 2008). "Univariate Distribution Relationships" (PDF). American Statistician. 62 (1): 45-53. doi:10.1198/000313008x270448 citar

Aquí hay dos relaciones de distribución normal y gamma en mayor detalle (entre un número desconocido de otros, como a través de chi-cuadrado y beta).

Primero A continuación se presenta una relación más directa entre la distribución gamma (GD) y la distribución normal (ND) con media cero. En pocas palabras, la GD se convierte en una forma normal a medida que su parámetro de forma aumenta. Demostrar que es así es más difícil. Para la GD, $$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$$

Como el parámetro de forma GD $a\rightarrow \infty$ Sin embargo, la forma del GD se vuelve más simétrica y normal, ya que la media aumenta con el incremento de $a$ tenemos que desplazar a la izquierda el GD por $(a-1) \sqrt{\dfrac{1}{a}} k$ para mantenerlo estacionario, y por último, si queremos mantener la misma desviación estándar para nuestro GD desplazado, tenemos que disminuir el parámetro de escala ( $b$ ) proporcional a $\sqrt{\dfrac{1}{a}}$ .

A saber, para transformar un GD en un caso límite ND establecemos que la desviación estándar sea una constante ( $k$ ) dejando que $b=\sqrt{\dfrac{1}{a}} k$ y desplazar el GD hacia la izquierda para tener un modo de cero sustituyendo $z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$ Entonces $$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$$

Obsérvese que en el límite como $a\rightarrow\infty$ el valor más negativo de $x$ para el que este GD es distinto de cero $\rightarrow -\infty$ . Es decir, el semi-infinito Apoyo a la DG se convierte en infinito . Tomando el límite como $a\rightarrow \infty$ de la DG reparametrizada, encontramos

$$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$$

Gráficamente para $k=2$ y $a=1,2,4,8,16,32,64$ el GD está en azul y la limitación $\text{ND}\left(x;0,\ 2^2\right)$ está en naranja, abajo

Segundo Señalemos que, debido a la similitud de forma entre estas distribuciones, se pueden desarrollar relaciones entre las distribuciones gamma y normal sacándolas de la nada. A saber, a continuación desarrollamos una generalización de la distribución gamma "desplegada" de una distribución normal.

Obsérvese en primer lugar que es el soporte semi-infinito de la distribución gamma lo que impide una relación más directa con la distribución normal. Sin embargo, ese impedimento puede eliminarse al considerar la distribución seminormal, que también tiene un soporte semi-infinito. Así, se puede generalizar la distribución normal (ND) doblándola primero para que sea seminormal (HND), relacionándola con la distribución gamma generalizada (GD), y luego para nuestro tour de force, "desplegamos" ambos (HND y GD) para hacer un ND generalizado (un GND), así.

La distribución gamma generalizada

$$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$$

Se puede reparametrizar para que sea el distribución seminormal ,

$$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$$

Tenga en cuenta que $\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$ Así, $$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$$

lo que implica que

$$ \begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$$

es una generalización de la distribución normal, donde $\mu$ es la ubicación, $\alpha>0$ es la escala, y $\beta>0$ es la forma y donde $\beta=2$ produce una distribución normal. Incluye la distribución de Laplace cuando $\beta=1$ . Como $\beta\rightarrow\infty$ la densidad converge puntualmente a una densidad uniforme en $(\mu-\alpha,\mu+\alpha)$ . A continuación se muestra la distribución normal generalizada trazada para $\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$ en azul con el caso normal $\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$ en naranja.

Lo anterior puede verse como la distribución normal generalizada Versión 1 y en diferentes parametrizaciones se conoce como la distribución de potencia exponencial, y la distribución de error generalizada, que son a su vez una de varias otras distribuciones normales generalizadas .

Answer 2

Como señala el comentario del profesor Sarwate, las relaciones entre la normal al cuadrado y la chi-cuadrado son un hecho muy difundido, como también debería serlo el hecho de que una chi-cuadrado no es más que un caso especial de la distribución Gamma:

$$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$$

la última igualdad se desprende de la propiedad de escala de la Gamma.

En cuanto a la relación con la exponencial, para ser exactos es la suma de dos normales de media cero al cuadrado cada uno escalado por la varianza del otro que conduce a la distribución exponencial:

$$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$$

$$ \Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$$

Pero la sospecha de que hay "algo especial" o "más profundo" en la suma de dos al cuadrado normales de media cero que "las convierte en un buen modelo para el tiempo de espera" es infundado: En primer lugar, ¿qué tiene de especial la distribución Exponencial que hace que it ¿un buen modelo de "tiempo de espera"? La falta de memoria, por supuesto, pero ¿hay algo "más profundo" aquí, o sólo la simple forma funcional de la función de distribución exponencial, y las propiedades de $e$ ? Las propiedades únicas están repartidas por todas las Matemáticas, y la mayoría de las veces no reflejan una "intuición más profunda" o una "estructura": simplemente existen (afortunadamente).

En segundo lugar, el cuadrado de una variable tiene muy poca relación con su nivel. Basta con considerar $f(x) = x$ en, digamos, $[-2,\,2]$ :

...o graficar la densidad normal estándar contra la densidad chi-cuadrado: reflejan y representan comportamientos estocásticos totalmente diferentes, aunque estén tan íntimamente relacionados, ya que la segunda es la densidad de una variable que es el cuadrado de la primera. La normal puede ser un pilar muy importante del sistema matemático que hemos desarrollado para modelar el comportamiento estocástico, pero una vez que se eleva al cuadrado, se convierte en algo totalmente distinto.

Answer 3

La derivación de la distribución chi-cuadrado a partir de la distribución normal es muy análoga a la derivación de la distribución gamma a partir de la distribución exponencial.

Deberíamos ser capaces de generalizar esto:

• Si el $X_i$ son variables independientes de un distribución normal generalizada con coeficiente de potencia $m$ entonces $Y = \sum_{i}^n {X_i}^m$ puede relacionarse con alguna distribución Chi-cuadrado a escala (con "grados de libertad" iguales a $n/m$ ).

---

La analogía es la siguiente:

Las distribuciones normal y chi-cuadrado se refieren a la suma de los cuadrados

• La distribución de densidad conjunta de múltiples variables independientes de distribución normal estándar depende de $\sum x_i^2$
  $f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$

• Si $X_i \sim N(0,1)$

  entonces $\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

Las distribuciones exponencial y gamma se relacionan con la suma regular

• La distribución de densidad conjunta de múltiples variables independientes con distribución exponencial depende de $\sum x_i$

  $f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$

• Si $X_i \sim Exp(\lambda)$

  entonces $\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

---

La derivación puede hacerse mediante un cambio de variables integrando no sobre todo $x_1,x_2,...x_n$ sino sólo sobre el término sumado (esto es lo que hizo Pearson en 1900). Esto se desarrolla de forma muy similar en ambos casos.

Para el $\chi^2$ distribución:

$$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$$

Dónde $V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$ es la dimensión n volumen de una bola n con radio cuadrado $s$ .

Para la distribución gamma:

$$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$$

Dónde $V(s) = \frac{s^n}{n!}$ es la dimensión n volumen de un n-politopo con $\sum x_i < s$ .

---

La distribución gamma puede verse como el tiempo de espera $Y$ para el $n$ -en un proceso de Poisson que se distribuye como la suma de $n$ variables distribuidas exponencialmente.

Como ya señaló Alecos Papadopoulos, no hay ninguna conexión más profunda que haga de las sumas de variables normales al cuadrado "un buen modelo para el tiempo de espera". La distribución gamma es la distribución de una suma de variables de distribución normal generalizada. Así es como se unen las dos.

Pero el tipo de suma y el tipo de variables pueden ser diferentes. Mientras que la distribución gamma, cuando se deriva de la distribución exponencial (p=1), obtiene la interpretación de la distribución exponencial (tiempo de espera), no se puede ir al revés y volver a una suma de variables gaussianas al cuadrado y utilizar esa misma interpretación.

La distribución de densidad para el tiempo de espera que cae de forma exponencial, y la distribución de densidad para un error gaussiano cae de forma exponencial (con un cuadrado). Esta es otra forma de ver las dos conexiones.