¿Importa el porcentaje de solapamiento de los intervalos de confianza?

Question

Una pregunta básica de estadísticas que me ha estado molestando. Supongamos que he formulado una pregunta de encuesta con dos posibles respuestas, y he recibido respuestas que tienen intervalos de confianza superpuestos (al 95%).

Esto significa que todavía no puedo decir que una respuesta sea estadísticamente más probable que la otra.

Pero en qué se diferencian estos resultados de algo como esto:

En este ejemplo, hay mucho menos solapamiento entre los dos intervalos de confianza. ¿Hay alguna forma matemática que represente un más alto probabilidad de un resultado significativo, ¿o se trata de una ilusión?

Answer 1

Una utilidad, pero aproximado La regla general es que cuando el solapamiento de los IC del 95% es inferior a la mitad del margen de error, la diferencia será significativa en $p \le 0.05$ . El margen de error es una forma elegante de decir la mitad de la longitud del intervalo de confianza, o un "bigote".

Cuando los IC del 95% apenas se tocan o son completamente disjuntos, la diferencia será altamente significativa, con $p \le 0.01$ .

En otras palabras, se necesita una buena cantidad de solapamiento para que los datos no puedan distinguir entre los dos grupos.

Este ROT es suficientemente preciso cuando ambos tamaños de muestra son al menos 10 y los márgenes de error no difieren en más de un factor de dos, incluso cuando los tamaños de muestra no son iguales.

Answer 2

Es posible que los intervalos de confianza se superpongan, aunque sean significativamente diferentes. Ver artículos aquí y aquí .

Answer 3

Si ha aceptado el criterio de que considerará que los tratamientos son diferentes si sus intervalos de confianza no se solapan, entonces ese es su criterio de decisión... Dicho esto, no tiene mucho sentido en la realidad tener un punto de corte marcado para estas decisiones... Para describir la diferencia entre los tratamientos, se podría considerar algún tipo de estadística del tamaño del efecto, como la diferencia entre las medias, o la de Cohen d .