¿Qué distribución sigue la FCD normal inversa de una variable aleatoria beta?

Question

Supongamos que se define:

$$X\sim\mbox{Beta}(\alpha,\beta)$$

$$Y\sim \Phi^{-1}(X)$$

donde $\Phi^{-1}$ es la inversa de la FCD de la distribución normal estándar .

Mi pregunta es: ¿Existe una distribución simple que $Y$ sigue, o que puede aproximarse a $Y$ ? Lo pregunto porque tengo una fuerte sospecha basada en los resultados de la simulación (que se muestran a continuación) que $Y$ converge a una distribución normal cuando $\alpha$ y $\beta$ son altos, pero no sé por qué lo haría matemáticamente. (Por supuesto, cuando $\alpha=1;\beta=1$ , $X$ sería uniforme y $Y$ sería la normal estándar, pero ¿por qué sería cierto para valores más altos?).

Si esto converge a una normal, ¿cuáles serían los parámetros de esa normal, en términos de $\alpha$ y $\beta$ ? (Supongo que la media sería $\Phi^{-1}(\frac{\alpha}{\alpha+\beta})$ ya que es la transformación de la moda, pero no conozco la desviación estándar).

(Dicho de otro modo, esto podría ser preguntar "¿se $\Phi(\mbox{Norm}(\mu, \sigma))$ convergen a una distribución beta, para alguna dirección de $\mu$ y $\sigma$ "? No estoy seguro de que eso sea más fácil de responder).

Resultados de la simulación

Aquí muestro por qué tengo la sospecha de que el resultado es normal (ya que no puedo respaldarlo con matemáticas). Simulación de $Y$ se puede hacer en R con qnorm y rnorm . Por ejemplo, la elección de los parámetros altos $\alpha=3000$ y $\beta=7000$ :

hist(qnorm(rbeta(5000, 3000, 7000)))

Esto parece normal, y qqnorm y el Prueba de Shapiro-Wilk (en la que la normalidad es la hipótesis nula) también lo sugieren:

qqnorm(qnorm(rbeta(5000, 3000, 7000)))

shapiro.test(qnorm(rbeta(5000, 3000, 7000)))
#> 
#>  Shapiro-Wilk normality test
#> 
#> data:  qnorm(rbeta(5000, 3000, 7000))
#> W = 0.99954, p-value = 0.2838

Para explorar la normalidad un poco más a fondo, realizo 2.000 simulaciones, cada vez simulando 5.000 valores de $Y$ y luego realizar la prueba para compararla con la normal. (He elegido valores de 5K porque es el máximo shapiro.test puede manejar, y maximiza el poder de detectar desviaciones de la norma).

Si la distribución fuera realmente normal, esperaríamos que los valores p fueran uniformes (ya que la nula es verdadera). De hecho, son casi uniformes, lo que sugiere que la distribución es muy cercana a la normalidad:

hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 3000, 7000)))$p.value))

Algunos experimentos muestran que cuanto más alto $\alpha$ y $\beta$ son, más se acerca la distribución a la normalidad (por ejemplo rbeta(5000, 3, 7) está bastante lejos de ser normal, pero intenta hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 30, 70)))$p.value)) y parece estar en algún punto intermedio).

Answer 1

Sinopsis

Ha redescubierto parte de la construcción descrita en Teorema del límite central para las medianas de las muestras que ilustra un análisis de la mediana de una muestra. (El análisis se aplica obviamente, mutatis mutandis a cualquier cuantil, no sólo a la mediana). Por tanto, no es de extrañar que para parámetros Beta grandes (correspondientes a muestras grandes) surja una distribución Normal bajo la transformación descrita en la pregunta. Lo que interesa es lo cerca que está la distribución de la Normal incluso para pequeño Parámetros beta. Eso merece una explicación.

A continuación esbozaré un análisis. Para que este artículo tenga una longitud razonable, implica muchas sutilezas: Sólo pretendo señalar las ideas clave. Por tanto, permítanme resumir los resultados aquí:

1. Cuando $\alpha$ está cerca de $\beta$ Todo es simétrico. Esto hace que la distribución transformada ya parezca Normal.

2. Las funciones de la forma $\Phi^{\alpha-1}(x)\left(1-\Phi(x)\right)^{\beta-1}$ parecen bastante normales en primer lugar, incluso para valores pequeños de $\alpha$ y $\beta$ (siempre que ambos superen $1$ y su proporción no es demasiado cercana a $0$ o $1$ ).

3. La aparente normalidad de la distribución transformada se debe a que su densidad consiste en una densidad Normal multiplicada por una función en (2).

4. Como $\alpha$ y $\beta$ el alejamiento de la normalidad puede medirse en los términos restantes de una serie de Taylor para la densidad logarítmica. El término de orden $n$ disminuye en proporción a la $(n-2)/2$ poderes de $\alpha$ y $\beta$ . Esto implica que eventualmente, para un tamaño suficientemente grande $\alpha$ y $\beta$ , todos los términos de poder $n=3$ o mayor se han vuelto relativamente pequeñas, dejando sólo una cuadrática: que es precisamente la densidad logarítmica de una distribución Normal.

En conjunto, estos comportamientos explican muy bien por qué incluso para los pequeños $\alpha$ y $\beta$ los cuantiles no extremos de una muestra normal iid parecen aproximadamente normales.

---

Análisis

Porque puede ser útil generalizar, dejemos que $F$ sea cualquier función de distribución, aunque tenemos en mente $F=\Phi$ .

La función de densidad $g(y)$ de un Beta $(\alpha,\beta)$ es, por definición, proporcional a

$$y^{\alpha-1}(1-y)^{\beta-1}dy.$$

Dejar $y=F(x)$ sea la transformada integral de probabilidad de $x$ y escribir $f$ para la derivada de $F$ es inmediato que $x$ tiene una densidad proporcional a

$$G(x;\alpha,\beta)=F(x)^{\alpha-1}(1-F(x))^{\beta-1}f(x)dx.$$

Como se trata de una transformación monótona de una distribución fuertemente unimodal (una Beta), a menos que $F$ es bastante extraño, la distribución transformada también será unimodal. Para estudiar lo cerca que puede estar de la Normal, examinemos el logaritmo de su densidad,

$$\log G(x;\alpha,\beta) = (\alpha-1)\log F(x) + (\beta-1)\log(1-F(x)) + \log f(x) + C\tag{1}$$

donde $C$ es una constante de normalización irrelevante.

Ampliar los componentes de $\log G(x;\alpha,\beta)$ en series de Taylor para ordenar tres alrededor de un valor $x_0$ (que estará cerca de un modo). Por ejemplo, podemos escribir la expansión de $\log F$ como

$$\log F(x) = c^{F}_0 + c^{F}_1 (x-x_0) + c^{F}_2(x-x_0)^2 + c^{F}_3h^3$$

para algunos $h$ con $|h| \le |x-x_0|$ . Utilice una notación similar para $\log(1-F)$ y $\log f$ .

Términos lineales

El término lineal en $(1)$ por lo que se convierte en

$$g_1(\alpha,\beta) = (\alpha-1)c^{F}_1 + (\beta-1)c^{1-F}_1 + c^{f}_1.$$

Cuando $x_0$ es un modo de $G(\,;\alpha,\beta)$ Esta expresión es cero. Nótese que como los coeficientes son funciones continuas de $x_0$ , como $\alpha$ y $\beta$ son variados, el modo $x_0$ también variará continuamente. Además, una vez $\alpha$ y $\beta$ son lo suficientemente grandes, el $c^{f}_1$ término se vuelve relativamente intrascendente. Si pretendemos estudiar el límite como $\alpha\to\infty$ y $\beta\to\infty$ para lo cual $\alpha:\beta$ se mantiene en una proporción constante $\gamma$ Por lo tanto, podemos elegir de una vez por todas un punto base $x_0$ para lo cual

$$\gamma c^{F}_1 + c^{1-F}_1 = 0.$$

Un buen caso es cuando $\gamma=1$ , donde $\alpha=\beta$ en todo momento, y $F$ es simétrica respecto a $0$ . En ese caso es obvio $x_0=F(0)=1/2$ .

Hemos conseguido un método por el cual (a) en el límite, el término de primer orden de la serie de Taylor desaparece y (b) en el caso especial que acabamos de describir, el término de primer orden es siempre cero.

Términos cuadráticos

Estas son la suma

$$g_2(\alpha,\beta) = (\alpha-1)c^{F}_2 + (\beta-1)c^{1-F}_2 + c^{f}_2.$$

En comparación con una distribución Normal, cuyo término cuadrático es $-(1/2)(x-x_0)^2/\sigma^2$ podemos estimar que $-1/(2g_2(\alpha,\beta))$ es aproximadamente la varianza de $G$ . Estandaricemos $G$ mediante el reajuste de la escala $x$ por su raíz cuadrada. no necesitamos realmente los detalles; basta con entender que este reescalado va a multiplicar el coeficiente de $(x-x_0)^n$ en la expansión de Taylor por $(-1/(2g_2(\alpha,\beta)))^{n/2}.$

Plazo restante

Aquí está el remate: el término de orden $n$ en la expansión de Taylor es, según nuestra notación,

$$g_n(\alpha,\beta) = (\alpha-1)c^{F}_n + (\beta-1)c^{1-F}_n + c^{f}_n.$$

Tras la normalización, se convierte en

$$g_n^\prime(\alpha,\beta) = \frac{g_n(\alpha,\beta)}{(-2g_2(\alpha,\beta))^{n/2})}.$$

Los dos $g_i$ son combinaciones afines de $\alpha$ y $\beta$ . Al elevar el denominador al $n/2$ potencia, el comportamiento neto es del orden $-(n-2)/2$ en cada uno de $\alpha$ y $\beta$ . A medida que estos parámetros crecen, entonces, cada término de la expansión de Taylor después del segundo disminuye a cero asintóticamente. En particular, el término de remanente de tercer orden se vuelve arbitrariamente pequeño.

El caso cuando $F$ es normal

La desaparición del término restante es especialmente rápida cuando $F$ es la Normal estándar, porque en este caso $f(x)$ es puramente cuadrática: no aporta nada a los términos restantes. En consecuencia, la desviación de $G$ de la normalidad depende únicamente de la desviación entre $F^{\alpha-1}(1-F)^{\beta-1}$ y la normalidad.

Esta desviación es bastante pequeña incluso para los pequeños $\alpha$ y $\beta$ . Para ilustrarlo, consideremos el caso $\alpha=\beta$ . $G$ es simétrica, por lo que el término de orden 3 desaparece por completo. El resto es de orden $4$ en $x-x_0=x$ .

Este es un gráfico que muestra cómo cambia el término normalizado de cuarto orden con valores pequeños de $\alpha \gt 1$ :

El valor comienza en $0$ para $\alpha=\beta=1$ porque entonces la distribución es obviamente Normal ( $\Phi^{-1}$ aplicada a una distribución uniforme, que es lo que Beta $(1,1)$ es decir, da una distribución normal estándar). Aunque aumenta rápidamente, alcanza un máximo de menos de $0.008$ --que es prácticamente indistinguible de cero. A partir de ahí se produce el decaimiento recíproco asintótico, que hace que la distribución se acerque cada vez más a la Normal, ya que $\alpha$ aumenta más allá de $2$ .

Answer 2

Convergencia

Supongamos que $\alpha = \beta$ y que $\alpha \to \infty$ y tomar cualquier pequeño $\varepsilon > 0$ . Entonces $var(X) \to 0$ . Por la desigualdad de Chebyshev tenemos $\mathbb{P} [\vert X - 0.5 \vert > \varepsilon] \to 0$ y $\mathbb{P} [\vert Y \vert > \varepsilon] \to 0$ . Esto significa que $Y$ converge en probabilidad ( no en la distribución en realidad converge en la distribución - a singleton).

Distribución exacta

Denota por $f_X$ la densidad de la distribución beta. Entonces su variable $Y$ tiene densidad $$ f_Y (y) = f_X ( \Phi (y) ) \phi (y). $$ Desde $\Phi$ no tiene una forma cerrada, creo que esto es lo más lejos que se puede llegar (analíticamente). Puedes intentar ponerlo en FullSimplify en Wolfram Mathematica para ver si encuentra alguna forma mejor.

Aquí está la densidad en R para que pueda trazar en lugar de histograma.

f_y <- function(x, alpha, beta) {
  dbeta(pnorm(x), alpha, beta) * dnorm(x)
}

Modificación

Sin embargo, tal vez le interese la distribución de $$ Z = \Phi^{-1} (\sqrt{\alpha} X) $$ . (todavía asumiendo $\alpha = \beta$ ) Esto puede ser útil porque $var(\sqrt{\alpha} X) \to 1/8$ (útil porque no es cero).

Answer 3

Aquí presento una explicación heurística (que puede hacerse rigurosa al menos asintóticamente). Para simplificar, tomemos $k \in \mathbb N$ , $k \geq 2$ . Sea $X \sim \text{Beta}(k,k)$ . Quiero argumentar que $Y = \Phi^{-1}(X)$ es aproximadamente normal.

Ahora dejemos que $n=2k-1$ . Comenzamos dibujando $n$ variables aleatorias de distribución uniforme i.i.d. $U_1, \dotsc, U_n$ . A continuación, forme las estadísticas de pedidos $U_{(1)} \leq \dotsc \leq U_{(n)}$ .

Es bien conocido que $U_{(k)} \sim \text{Beta}(k, n+1-k)$ Así que..:

$$U_{(k)} \sim \text{Beta}(k, k)$$

En otras palabras: La mediana de la muestra de $n$ variables aleatorias de distribución uniforme i.i.d. es $\text{Beta}(k,k)$ distribuido.

Ahora transformemos por $Z_i = \Phi^{-1}(U_i)$ . Entonces, por la transformada integral de probabilidad, el $Z_i$ se distribuyen normalmente i.i.d. También forman las estadísticas de orden de la $Z_i$ ( $Z_{(1)} \leq \dotsc \leq Z_{(n)}$ ). Dado que $\Phi^{-1}$ es estrictamente creciente, se deduce que

$$ \Phi^{-1}(U_{(k)}) = Z_{(k)}$$

Por lo tanto, para demostrar que $Y$ es aproximadamente normal, sólo tenemos que argumentar que la mediana muestral de $n$ Las variables aleatorias normales i.i.d. son aproximadamente normales.

Para $k$ grande, esto se puede precisar mediante un teorema del límite central para las medianas muestrales. Para $k$ pequeño, digamos $k=2$ Dejaré que el instinto de cada uno sea el que hable.

Para $a \neq b$ (pero no demasiado diferente) se puede argumentar de forma similar utilizando los cuantiles correspondientes.