¿Cómo calcula un frecuentista la posibilidad de que el grupo A supere al grupo B con respecto a la respuesta binaria?

Question

... (opcional) en el contexto de la Web de Google Optimizer.

Supongamos que se tienen dos grupos y una variable respuesta binaria. Ahora se obtiene el siguiente resultado:

• Original: 401 ensayos, 125 el éxito de los ensayos
• Combination16: 441 ensayos, 141 el éxito de los ensayos

La diferencia no es estadísticamente significativa, sin embargo, uno puede calcular la probabilidad de que Combination16 se beat Original.

Para calcular la "Oportunidad de vencer Original" he utilizado un enfoque bayesiano, es decir, la realización de una de dos dimensiones de monte carlo integración sobre el bayesiano de estilo intervalos de confianza (beta-distribución, (0,0) antes). Aquí está el código:

trials <- 10000
resDat<-data.frame("orig"=rbeta(trials,125+1,401-125+1),
                    "opt"=rbeta(trials,144+1,441-144+1))
length(which(resDat$opt>resDat$orig))/trials

Esto se traduce en 0.6764.

La técnica que se haría un frecuentista usar para calcular la "Oportunidad de vencer a ..." ? Tal vez la función de potencia de la prueba exacta de Fisher ?

Opcional: Contexto de la Web de Google Optimizer

Web de Google Optimizer es una herramienta para el control de las Pruebas multivariadas o a/B Testing. Esto sólo como una introducción ya que este no debe importar para la pregunta en sí misma.

El ejemplo presentado arriba fue tomada de la página de explicación de la Web de Google Optimizer (GWO), que se puede encontrar aquí (por favor, desplácese hacia abajo hasta la sección "Estimado de la Tasa de Conversión de los Rangos"), específicamente a partir de la figura 2.

Aquí GWO ofrece 67.8% para "Oportunidad de vencer Original", que difiere ligeramente de mi resultado. Supongo que Google utiliza más frecuentista-como en el enfoque y me preguntaba: ¿Qué podría ser ?

EDIT: esta cuestión Ya estaba cerca de desaparecer (supongo que debido a su naturaleza específica), me han reformulado para ser de interés general.

Answer 1

Voy a tomar esto como una oportunidad para explicar algunas de las fundamentales cuestiones relativas a la diferencia entre frecuentista y Bayesiana de la estadística, mediante la interpretación frecuentista de las prácticas desde un punto de vista Bayesiano.

En este ejemplo, hemos observado que los datos de $D_1$ el original y los datos de $D_2$ para la combinación de caso. Se supone que estos son generados por variables aleatorias de Bernoulli con los parámetros de $p_1$$p_2$, respectivamente, y que estos parámetros vienen de los priores, $f_i(p_i)$ (con cdfs $F_i(p_i)$). La probabilidad de $p_1 > p_2$ puede ser calculado, como usted ha señalado. Es:

$$ P[p_1 > p_2;f_1,f_2] = \frac{\int_0^1 \int_0^1 I(p_1 > p_2) P[D_1|p_1] P[D_2|p_1] dF_1(p_1) dF_2(p_2)}{\int_0 ^1 \int_0^1 P[D_1|p_1] P[D_2|p_1] dF_1(p_1) dF_2(p_2) } $$

Aquí el Bayesiano elige priores $f_1(p_1)$ $f_2(p_2)$ (y se suele optar por el mismo, antes por tanto, debido a la intercambiabilidad) y se procede con la inferencia.

El frecuentista toma un "conservador" enfoque a la hora de elegir una antes. Los posibles valores de $\theta$ se supone conocido, pero el frecuentista tiene tan poca confianza en su capacidad para asignar una significativa antes, por lo que efectivamente se mire todas las posibles dudas y, a continuación, sólo hacer una inferencial de la declaración cuando inferencial de la declaración es verdadera en todos los posibles reincidencias. Cuando no hay inferencia es válida en todos los posibles reincidencias, la frecuentista permanece en silencio.

Esa es la situación en este caso. Cuando uno considera los priores $g_{\theta_i}(p_i)$ da por:

$$ g_{\theta_i}(p_i) = \delta (\theta_i) $$

es decir, el punto de la masa concentrada en $\theta_i$, entonces uno puede ver fácilmente que la probabilidad deseada es

$$ P[p_1 > p_2;g_{\theta_1},g_{\theta_2}] = \delta_{\theta_1, \theta_2}$$

es decir, 1 cuando $\theta_1 = \theta_2$ y 0 en caso contrario.

Así, el frecuentista permanece en silencio. (O, alternativamente, hace que el trivial declaración: "La probabilidad está entre 0 y 1...")