¿Equivalente de dos pruebas t unilaterales para la prueba binomial?

Question

Quiero comprobar que el fenómeno que estoy observando está generado por una distribución Binomial con $p \approx 0.5$ . La prueba Binomial normal verifica lo contrario: un valor p pequeño me da la confianza de que el parámetro p NO es 0,5.

Pensé que podría verificar que $0.5-\delta < p < 0.5+\delta$ utilizando el truco de las "dos pruebas t unilaterales", que comprueba que la media de un proceso se encuentra dentro de un intervalo $[l_1,l_2]$ comprobando que no es menor que $l_1$ y que no sea mayor que $l_2$ .

Mis preguntas entonces son:

1. ¿Es sensato mi planteamiento?
2. ¿Cómo agrego los dos valores p para obtener un valor p global? Veo que ttost_ind de statsmodels toma el máximo de los dos valores p: ¿puedo hacer lo mismo?
3. ¿Qué trabajos puedo citar para respaldar la corrección de este método si publico mi investigación?

Pregunta extra: ¿Puedes darme las líneas exactas para implementar esto usando scipy.stats.binom_test de SciPy ?

Answer 1

Su planteamiento es tan sensato como hacer lo mismo con otra distribución estadística. Hay algunos problemas que deben abordarse.

En cuanto a los p-valores, si asigna la mitad de su $\alpha$ nivel a cada prueba unilateral deberías estar en el lado seguro. Es una corrección de Bonferroni para pruebas múltiples. Otros métodos, como la corrección de Holm, son menos conservadores y tienen más poder estadístico. Es un poco más tedioso de implementar, pero también debería ser posible.

Su prueba también será más conservadora que la $\alpha$ indica ya que la distribución binomial es discreta. Supongamos que asigna el 2,5% $\alpha$ por prueba unilateral. Puede que el mayor valor p alcanzable con su distribución binomial que se encuentre por debajo del 2,5% sea, de hecho, considerablemente inferior al 2,5%, quizás el 1,8%. En este caso, la prueba se realizaría a un nivel de significación más estricto que el nominal. $\alpha$ sugiere. Este efecto es mayor con tamaños de muestra más pequeños, ya que entonces los saltos son mayores

El problema más importante es la $\delta$ término que debe utilizar. No es posible hacer pruebas de equivalencia sin ese término, pero hay que motivarlo bien. Este término le da un grado de libertad al investigador que hará sospechar al revisor. Para ser franco, siempre se podría aumentar post-hoc $\delta$ de modo que se rechacen las dos hipótesis nulas unilaterales y demuestres tu equivalencia. Al revisor le resultaría muy difícil saber si usted fijó $\delta$ antes de ver los datos, de ahí la sospecha. Es necesario determinar su $\delta$ de principio al afirmar que un efecto de $\delta$ o más empezaría a ser relevante en la práctica (en contraposición a estadísticamente significativo) e idealmente tendría una cita para ese valor.

Answer 2

Bueno, el problema es que estás intentando utilizar la prueba de hipótesis para algo que realmente no puede hacer, que es afirmar que un determinado valor (aunque sea aproximado) DIO lugar a algo que observaste.

Lo que en mi opinión funcionaría como heurística es que tomes tu menor ( $0.5 - \delta$ ) y límite superior( $0.5 + \delta$ ) y calcule las probabilidades de observar el resultado que tiene - para el límite inferior podría hacer una prueba de cola derecha, para el límite superior podría hacer una prueba de cola izquierda.

Scipy debería ser (pero no estoy 100% seguro de eso, no uso SciPy así que no puedo probar):

scipy.stats.binom.pdf(su_resultado_prueba, n, 1/2 - delta) * 2

(1 - scipy.stats.binom.pdf(tu_resultado_prueba, n, 1/2 + delta)) * 2

Esto te daría dos probabilidades que acotarían la probabilidad de tu observación para todas las "verdades" fuera de tu rango especificado (edito: estoy asumiendo aquí que tu observación está dentro de tu rango especificado). Pero me gustaría hacer hincapié en que esto no le permitiría inferir una probabilidad para la verdad de estar en su intervalo especificado, ya que en última instancia, esto requiere un modelo / suposición sobre el verdadero valor de p.

Para responder realmente a una pregunta como ésta, necesitaría métodos bayesianos (que le proporcionan formas de modelar la distribución a priori de p que necesita para cuantificar realmente las probabilidades de intervalo). En ese caso podría buscar "Bayesian credible intervals" (intervalos creíbles bayesianos)