Máximo de la estimación de la probabilidad de una distribución binomial distribución de Poisson

Question

De acuerdo a Wikipedia,

la distribución de Poisson distribución binomial es la distribución de probabilidad discreta de una suma de ensayos de Bernoulli independientes que no necesariamente son idénticamente distribuidas

En otras palabras, los ensayos de Bernoulli tienen diferentes probabilidades de $p_{1},\dots,p_{n}$.

Supongamos que tengo una tarea donde los participantes se presentan los estímulos que caen en la categoría a o categoría B. se enciende El experimento para $N$ ensayos, y para cada ensayo, los participantes señalan que la categoría es la correcta.

Los ensayos son independientes, pero probablemente hay una probabilidad diferente para cada versión de prueba de que se dé una respuesta correcta. Si que tiene un gran número de ensayos (por ejemplo, 500), es posible encontrar sentido máximo de estimaciones de probabilidad de los parámetros de la distribución ($p_{i}$'s)?

Cómo muchos de los participantes necesito?

Yo estaría interesado en probar si el ordinario Binomial o de Poisson, binomial es un mejor ajuste a los datos que tengo en la mano. Sin embargo, me preguntaba si teóricamente es posible encontrar una respuesta plausible a esta pregunta.

Answer 1

Como yo lo veo el problema, usted tiene $K$ de los individuos completando $N$ ensayos, que el resultado en binario de los resultados (éxito o fracaso). Así que usted está tratando con $N\times K$ variables aleatorias $X_{ij}$. Ustedes están interesados en calcular las probabilidades de éxito de cada ensayo $p_i$.

Así que la primera cosa a notar es que se asume aquí que los participantes son intercambiables, así que no hay más o menos hábiles participantes - es esta suposición correcta para sus datos? La primera cosa que viene a mi mente es que para el tipo de datos como el tuyo Teoría de Respuesta al Ítem modelos que se adaptan mejor. El uso de tales modelos se podría estimar el modelo suponiendo que las tareas varían en cuanto a su dificultad y que los participantes varían en sus habilidades (por ejemplo, mediante simple modelo Rasch).

Pero atengámonos a lo que usted dijo y se supone que los participantes son intercambiables y que sólo están interesados en las probabilidades de cada tarea. Como otros ya notado, no se trata aquí de Poisson distribución binomial, ya que el uso de la distribución de las sumas de los éxitos de $N$ ensayos de Bernoulli independientes con diferentes probabilidades,$p_1,\dots,p_N$. Para ello tendría que introducir de nuevo la variable aleatoria definida como $Y_j = \sum_{i=1}^N X_{ij}$, es decir, número total de éxitos por participante. Como señaló Xi'an, los parámetros de $p_i$ no son identificables en el aquí y si tiene datos en el resultado de cada ensayo por cada participante, es mejor pensar acerca de él, como de Bernoulli variables parametrizadas por $p_i$.

De lo que está diciendo, le gustaría probar si Poisson distribución binomial se ajusta a los datos mejor que de ordinario binomial. Como he leído, que desea probar si los ensayos difieren en las probabilidades de éxito, o si la probabilidad de éxito es la misma para cada ensayo (desde $p_1 = p_2 = \dots = p_N$ es una simple distribución binomial). Diciéndolo de otro modo, su hipótesis nula sería que no solo los participantes, sino también los juicios son intercambiables, por lo que la identificación de determinados ensayos no nos dice nada acerca de los datos, ya que todos ellos tienen la misma probabilidad de éxito. Si tenemos hipótesis nula dicho así, al instante conduce a prueba de permutación, donde al azar "shuffle" su $N\times K$ matriz y comparar la estadística calculada en tales permutan los datos de la estadística calculada en unshuffled de datos. Para la estadística para comparar yo uso combinado de la varianza del

$$ \sum_{i=1}^N \hat p_i(1-\hat p_i) $$

donde $\hat p_i$ es la probabilidad de éxito estimada a partir de los datos de la $i$-th participante (en columna significa). En caso de igualdad de $\hat p_i$'s reduciría a $N \hat p(1-\hat p)$.

Para ilustrar lo que he llevado a cabo una simulación con tres escenarios diferentes: (a) todos los $p_i = 0.5$, (b) vienen de la Beta(1000,1000) de distribución, (c) proceden de una distribución uniforme. En el primer caso $p_i$'s son todos iguales; en el segundo caso están "al azar", sino que se agrupan alrededor de medio; y en el tercer caso son totalmente "al azar". El gráfico siguiente muestra la distribución de la estadística de prueba bajo la hipótesis nula (es decir, calculada sobre barajan datos), líneas rojas muestran la varianza calculada en unshuffled de datos. Como se puede ver, la suma de las varianzas de unshuffled datos cruza con la nula distribución en el primer caso (prueba no es significativa) y ligeramente enfoque de la distribución en el segundo caso (una diferencia significativa en el valor null). En el tercer caso la línea roja no es aun visible en la trama ya que es muy lejos de la nula distribución (diferencia significativa).

Así, mientras que la prueba identifica correctamente "todos el mismo $p_i$'s" escenario (una), pero no encontró el "parecido pero no es el mismo" escenario (b) para cumplir con los criterios de igualdad. La pregunta es si se quiere ser riguroso al respecto? Sin embargo, esta es una aplicación directa de la prueba de la hipótesis. Compara los criterios básicos que le permiten distinguir ordinario binomio de Poisson, binomial (sus variaciones).

Por supuesto, hay un montón de otras posibilidades, más o menos apropiado, dependiendo de su problema, por ejemplo: comparar el individuo intervalos de confianza, pairwise $z$-test, ANOVA, utilizando algún tipo de modelo de regresión logística, etc. Sin embargo, como he dicho antes, esto suena más bien como un problema para la Teoría de Respuesta al Ítem modelos y asumiendo la igualdad de habilidades de los participantes suena arriesgado.