¿Qué concluir cuando la mayoría de resultados son estadísticamente significativas para no rechazar la hipótesis nula, pero no todos?

Question

He probado 8 bolsas de cierta marca de dulces para comparar el color de las distribuciones de los caramelos. Tengo 4 bolsas para cada tamaño de la bolsa, 8 oz y 1.9 lb. Las bolsas fueron emparejados al azar. Aquí están mis hipótesis:

$\ \ \ \ H_0: The \ distribution \ of \ each \ color \ of \ candies \ is \ equal \ in \ all \ sizes \ of \ bags.\\ \ \ \ \ H_A: The \ distribution \ of \ each \ color \ of \ candies \ is \ not \ equal \ in \ all \ sizes \ of \ bags.$

Entonces me corrió 4 test de chi cuadrado para cada par de bolsas, generando 4 p-valores. Con un nivel alfa de .05, 3 de las parejas sugieren que no puedo rechazar mi hipótesis nula, pero sugiere lo rechazo. ¿Cuál es la mejor manera de sacar una conclusión de esto? Debo general no se puede rechazar la hipótesis nula debido a que la mayoría muestra esto?

Answer 1

Si todas sus hipótesis nula son, en realidad, la verdadera, entonces su probabilidad de rechazar en al menos uno de sus experimentos es

$$ 1 - 0.95^4 \approx 0.19 $$

Así que hay aproximadamente un 20% de posibilidades de encontrar al menos un rechazo en su experimento, incluso si todas las bolsas tuvieron una distribución equitativa de los colores. No es demasiado raro; la decisión de cómo actuar ahora depende de los costos de equivocarse.

Sugiero que usted come el 20% de los caramelos.

¿No sería (1-.95)^4?

Yo creo que lo tengo a la derecha:

• La probabilidad de un experimento falsamente rechazar: $0.05$
• Probabilidad de que un experimento no falsamente rechazar: $0.95$
• La probabilidad de todos los experimentos no falsamente rechazar: $0.95^4$
• Probabilidad de que al menos uno de los experimentos falsamente rechazar: $1 - 0.95^4$

Answer 2

Si usted está tratando de probar si la distribución depende de la bolsa -o, de manera equivalente, si todas las bolsas son muestras al azar de la misma población - la realización de pruebas en los pares de bolsas no va a funcionar, porque puede arrojar resultados contradictorios -como usted que se encuentra - y porque la probabilidad de errores de tipo I se va a construir debido a las múltiples comparaciones problema -como Mathew Durry la respuesta explica y como el comic de XKCD demuestra en un contexto diferente.

Puede evitar este problema mediante la realización de una única prueba con todas las bolsas: una prueba de chi-cuadrado de homogeneidad, el cual le indicará si existen diferencias significativas entre las bolsas.

Por favor, observe que la mayoría de los ejemplos de este uso de las pruebas de tan sólo un par de ejemplos, pero funciona igual de bien para el mayor número de muestras. Además, la prueba es la misma que la prueba de chi-cuadrado de independencia (sólo la interpretación es un poco diferente), así que usted puede encontrar la información bajo ambos nombres.

Si la prueba de homogeneidad muestra que existen diferencias significativas entre las bolsas, usted podría estar interesado en saber entre que las bolsas no se encuentran diferencias significativas. Entonces, los pares de pruebas pueden ser útiles, pero para evitar el problema de las comparaciones múltiples a volver a ocurrir, usted necesita para hacer las correcciones. Me permito sugerir la corrección de Bonferroni , debido a su simplicidad.

De todos modos, si las bolsas están sólo al azar bolsas tomado de un estante, sabiendo que uno es significativamente diferente es interesante y a la homogeneidad de la prueba debe ser suficiente para sus propósitos.

Answer 3

Después de explicar los resultados en el capítulo de resultados, pueden indicar en la discusión que uno de los resultados se encontró significativa. Puede ofrecer su interpretación de los resultados basado en literatura y sugieren varias explicaciones de plausbile al lector.