Relación entre las distribuciones Binomial y Beta

Question

Soy más programador que estadístico, así que espero que esta pregunta no sea demasiado ingenua.

Ocurre en ejecuciones de programas de muestreo en momentos aleatorios. Si tomo N=10 muestras de tiempo aleatorias del estado del programa, podría ver que la función Foo se ejecuta, por ejemplo, en I=3 de esas muestras. Estoy interesado en lo que eso me dice acerca de la fracción real de tiempo F que Foo está en ejecución.

Entiendo que I tiene una distribución binomial con media F*N. También sé que, dados I y N, F sigue una distribución beta. De hecho he comprobado por programa la relación entre esas dos distribuciones, que es

cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1

El problema es que no intuyo la relación. No puedo "imaginarme" por qué funciona.

EDIT: Todas las respuestas han sido un reto, especialmente la de @whuber, que todavía tengo que entender, pero poner en orden las estadísticas ha sido muy útil. Sin embargo, me he dado cuenta de que debería haber hecho una pregunta más básica: Dados I y N, ¿cuál es la distribución de F? Todo el mundo ha señalado que es Beta, que yo sabía. Finalmente lo he deducido de Wikipedia ( Conjugado previo ) que parece ser Beta(I+1, N-I+1) . Después de explorarlo con un programa, parece ser la respuesta correcta. Me gustaría saber si estoy equivocado. Y, todavía estoy confundido acerca de la relación entre los dos cdfs se muestra arriba, ¿por qué se suman a 1, y si incluso tienen algo que ver con lo que realmente quería saber.

Answer 1

Considere las estadísticas de pedidos $x_{[0]} \le x_{[1]} \le \cdots \le x_{[n]}$ de $n+1$ extracciones independientes de una distribución uniforme. Dado que los estadísticos de orden tienen distribuciones Beta la posibilidad de que $x_{[k]}$ no supera $p$ viene dada por la integral Beta

$$\Pr[x_{[k]} \le p] = \frac{1}{B(k+1, n-k+1)} \int_0^p{x^k(1-x)^{n-k}dx}.$$

(¿Por qué? He aquí una demostración no rigurosa pero memorable. La posibilidad de que $x_{[k]}$ se encuentra entre $p$ y $p + dp$ es la probabilidad de que de $n+1$ valores uniformes, $k$ de ellos se encuentran entre $0$ y $p$ al menos uno de ellos se encuentra entre $p$ y $p + dp$ y el resto entre $p + dp$ y $1$ . En primer orden en el infinitesimal $dp$ sólo tenemos que considerar el caso en que exactamente un valor (a saber, $x_{[k]}$ se encuentra entre $p$ y $p + dp$ y por lo tanto $n - k$ superan los valores $p + dp$ . Como todos los valores son independientes y uniformes, esta probabilidad es proporcional a $p^k (dp) (1 - p - dp)^{n-k}$ . A primer orden en $dp$ esto es igual a $p^k(1-p)^{n-k}dp$ precisamente el integrando de la distribución Beta. El término $\frac{1}{B(k+1, n-k+1)}$ puede calcularse directamente a partir de este argumento como el coeficiente multinomial ${n+1}\choose{k,1, n-k}$ o derivada indirectamente como la constante normalizadora de la integral).

Por definición, el acontecimiento $x_{[k]} \le p$ es que el $k+1^\text{st}$ no supere $p$ . Equivalentemente, como mínimo $k+1$ de los valores no superan $p$ : esta simple (y espero que obvia) afirmación proporciona la intuición que buscas. La probabilidad de la afirmación equivalente viene dada por la distribución Binomial,

$$\Pr[\text{at least }k+1\text{ of the }x_i \le p] = \sum_{j=k+1}^{n+1}{{n+1}\choose{j}} p^j (1-p)^{n+1-j}.$$

En resumen la integral Beta descompone el cálculo de un suceso en una serie de cálculos: encontrar al menos $k+1$ en el intervalo $[0, p]$ cuya probabilidad calcularíamos normalmente con una CDF binomial, se divide en casos mutuamente excluyentes en los que exactamente $k$ están en el intervalo $[0, x]$ y 1 valor está en el intervalo $[x, x+dx]$ para todos los posibles $x$ , $0 \le x \lt p$ y $dx$ es una longitud infinitesimal. Sumando todas las "ventanas" $[x, x+dx]$ --es decir, integrando-- debe dar la misma probabilidad que la fdc Binomial.

Answer 2

Mira el pdf del Binomio en función de $x$ : $$f(x) = {n\choose{x}}p^{x}(1-p)^{n-x}$$ y la pdf de Beta en función de $p$ : $$g(p)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}p^{a-1}(1-p)^{b-1}$$ Probablemente pueda ver que con una elección apropiada (entera) para $a$ y $b$ son los mismos. Hasta donde yo sé, eso es todo lo que hay en esta relación: la forma en que $p$ entra en la pdf binomial resulta que se llama distribución Beta.

Answer 3

Como ha observado, la distribución Beta describe la distribución del parámetro de probabilidad del ensayo $F$ mientras que la distribución binomial describe la distribución del parámetro de resultado $I$ . Reescribiendo tu pregunta, lo que preguntabas era por qué $$P(F \le \frac {i+1} n)+P(I \le fn-1)=1$$ $$P(Fn \le i+1)+P(I+1 \le fn)=1$$ $$P(Fn \le i+1)=P(fn<I+1)$$ Es decir, la probabilidad de que la observación más uno sea mayor que la expectativa de la observación es la misma que la probabilidad de que la observación más uno sea mayor que la expectativa de la observación.

Admito que esto puede no ayudar a intuir la formulación original del problema, pero tal vez ayude a ver al menos cómo las dos distribuciones utilizan el mismo modelo subyacente de ensayos Bernoulli repetidos para describir el comportamiento de diferentes parámetros.

Answer 4

Resumen: Se suele decir que la distribución Beta es una distribución sobre distribuciones. Pero, ¿qué es la media?

En esencia, significa que puede fijar $n,k$ y pensar en $\mathbb P[Bin(n,p)\geqslant k]$ en función de $p$ . Lo que dice el cálculo siguiente es que el valor de $\mathbb P[Bin(n,p)\geqslant k]$ aumenta de $0$ a $1$ cuando sintonices $p$ de $0$ a $1$ . La tasa de aumento en cada $p$ es exactamente $\beta(k,n-k+1)$ en ese $p$ .

---

Sea $Bin(n,p)$ denota una variable aleatoria binomial con $n$ muestras y la probabilidad de éxito $p$ . Utilizando álgebra básica tenemos

$$\frac d{dp}\mathbb P[Bin(n,p)=i]=n\Big(\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big).$$

También tiene algunas buenas pruebas combinatorias, ¡piénsalo como un ejercicio!

Por lo tanto, tenemos:

$$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=\frac d{dp}\sum_{i=k}^{n}\mathbb P[Bin(n,p)=i]=n\Big(\sum_{i=k}^{n}\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big)$$ que es una serie telescópica y puede simplificarse como

$$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=n\mathbb P[Bin(n-1,p)=k-1]=\frac{n!}{(k-1)!(n-k)!}p^{k-1}(1-p)^{n-k}=\beta(k,n-k+1).$$

---

Observación Para ver una versión interactiva de la trama, consulte este . Puede descargar el cuaderno o simplemente utilizar el enlace Binder.

Answer 5

En tierra bayesiana, la distribución Beta es la prior conjugada para el parámetro p de la distribución Binomial.