Relación entre las distribuciones Binomial y Beta

Question

Soy más programador que estadístico, así que espero que esta pregunta no sea demasiado ingenua.

Ocurre en ejecuciones de programas de muestreo en momentos aleatorios. Si tomo N=10 muestras de tiempo aleatorias del estado del programa, podría ver que la función Foo se ejecuta, por ejemplo, en I=3 de esas muestras. Estoy interesado en lo que eso me dice acerca de la fracción real de tiempo F que Foo está en ejecución.

Entiendo que I tiene una distribución binomial con media F*N. También sé que, dados I y N, F sigue una distribución beta. De hecho he comprobado por programa la relación entre esas dos distribuciones, que es

cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1

El problema es que no intuyo la relación. No puedo "imaginarme" por qué funciona.

EDIT: Todas las respuestas han sido un reto, especialmente la de @whuber, que todavía tengo que entender, pero poner en orden las estadísticas ha sido muy útil. Sin embargo, me he dado cuenta de que debería haber hecho una pregunta más básica: Dados I y N, ¿cuál es la distribución de F? Todo el mundo ha señalado que es Beta, que yo sabía. Finalmente lo he deducido de Wikipedia ( Conjugado previo ) que parece ser Beta(I+1, N-I+1) . Después de explorarlo con un programa, parece ser la respuesta correcta. Me gustaría saber si estoy equivocado. Y, todavía estoy confundido acerca de la relación entre los dos cdfs se muestra arriba, ¿por qué se suman a 1, y si incluso tienen algo que ver con lo que realmente quería saber.

Answer 1

No puedo comentar otras respuestas, así que tengo que crear mi propia respuesta.

Posterior = C * Probabilidad * Prior (C es una constante que hace que Posterior se integre a 1)

Dado un modelo que utiliza la distribución Binomial para la verosimilitud, y la distribución Beta para el Prior. El producto de las dos que genera la Posterior es también una distribución Beta. Dado que tanto la Prior como la Posterior son Beta, y por tanto son distribuciones conjugadas . el Prior (un Beta) se llama previo conjugado para la probabilidad (una Binomial). Por ejemplo, si se multiplica una Beta por una Normal, la Posterior ya no es una Beta. En resumen, Beta y Binomial son dos distribuciones que se utilizan con frecuencia en la inferencia bayesiana. Beta es la Prior Conjugada de Binomial, pero las dos distribuciones no son un subconjunto o superconjunto de la otra.

La idea clave de la inferencia bayesiana es que tratamos el parámetro p como una variable aleatoria que oscila entre [0,1], lo que es contrario al enfoque de inferencia frecuentista, en el que tratamos el parámetro p como fijo. Si observamos detenidamente las propiedades de la distribución Beta, veremos su La media y la moda están determinadas únicamente por $\alpha$ y $\beta$ irrelevante para el parámetro p . Esto, unido a su flexibilidad, es la razón por la que Beta suele utilizarse como Prior.

Answer 2

He aquí una explicación intuitiva que a mí me funciona:

$Binomial(n, p)$ :
Al repetir un ensayo Bernoulli con $p$ probabilidad $n$ veces. La posibilidad de que exactamente $k$ éxitos es: $$Binomial_\mathit{pmf}(\pmb{k}, n, p) = {n\choose \pmb{k}} p^{\pmb{k}} (1-p)^{n-\pmb{k}}$$

$Beta(n, k)^*$ :
Para un $n$ y $k$ dada la probabilidad $p$ calcula la probabilidad, $p'$ de conseguir $k$ en el primer experimento. A continuación, multiplique este $p'$ por $n+1$ para obtener $k'$ el resultado más probable (interpolado) si hemos hecho el experimento con $p'$ (conceptualmente es como el modo de $Binomial(n, p')$ sólo permite valores no enteros):

$$Beta_\mathit{pdf}(\pmb{p}, n, k) = \underbrace{(n+1) \overbrace{{n \choose k} \pmb{p}^k (1-\pmb{p})^{n-k}}^{p'=Binomial_\mathit{pmf}(k, n, \pmb{p})}}_{k' \approx mode(Binomial(n, p'))}$$

$\small{*}$ Estoy usando ${n \choose k}$ para destacar la similitud con el $Binomial$ . Para obtener el $Beta$ debemos sustituir $\cdot!$ con $\Gamma(\cdot+1)$ que interpola el factorial para valores no enteros.

Nota 1 : Si $p$ está cerca de $k/n$ k es mayor.

Nota 2 : Si el parámetro $n$ es mayor estamos más seguros del resultado (la concentración es mayor).

Nota 3 : La obtención de la formulación común para el $Beta(\alpha,\beta)$ función:
$$k \to \alpha - 1$$ $$n \to \alpha + \beta- 2$$

Nota 4 : Al sustituir $\cdot!$ por $\Gamma(\cdot+1)$ , $Beta(n, k)$ se define en realidad para valores reales $n$ y $k$ con rangos $n > k - 1$ y $k > -1$ . Podemos pensar en cosas como -0,3 aciertos de -1,1 ensayos Bernoulli como interpolaciones del entero $0 \le k \le n$ casos.

Nota 5 : $Beta(n=0, k=0) \equiv Uniform(0,1)$

Nota 6 : $\int_0^1(n+1){n\choose k} p^k (1-p)^{n-k} \,dp = 1$