ICs no superpuestos en las probabilidades predichas tras el logit multinomial: ¿podemos concluir una diferencia estadísticamente significativa?

Question

Produje el siguiente gráfico de probabilidades predichas después de ejecutar un modelo logit multinomial con Stata (código completo abajo). Preguntas:

1. En 2013 (por ejemplo), los IC del 95% para M, F y U no se superponen. Por lo tanto, ¿puedo concluir que las probabilidades esperadas son significativamente diferentes desde el punto de vista estadístico (al nivel del 5%) para estos 3 grupos?

2. Para el grupo F, los IC no se superponen para 2013 frente a 2008. ¿Puedo concluir que las probabilidades predichas son estadísticamente significativas (nivel del 5%) para esos dos años?

Entiendo que si los IC se solapan, pueden ser o no significativamente diferentes desde el punto de vista estadístico.

Código :

mlogit gender_n year, vce(cluster person)
margins, at(year = (2008(1)2013))
marginsplot

Parcela :

Nota: se ha enviado un mensaje cruzado a Statalist, pero no ha habido respuestas.

Answer 1

Si los intervalos de confianza del 95% de dos estimaciones no se solapan, se puede decir que las dos estimaciones son significativamente diferentes, $p < .05$ al menos. Hay casos en los que esto puede no ser cierto, por ejemplo cuando hay covarianza entre las estimaciones, pero no debería ser el caso aquí, asumiendo F , M y U son grupos diferentes.

Sin embargo:

• Sería mejor examinar las estimaciones de los parámetros de su modelo para encontrar, por ejemplo, la diferencia estimada entre F y U en 2008, el error estándar de esa diferencia y el valor p asociado.
• No conozco Stata, pero probablemente debería comprobar que este gráfico muestra los intervalos de confianza y no los errores estándar (que son aproximadamente la mitad de amplios). ¡Parece que los ICs no se superponen incluso si estos resultaron ser errores estándar, pero es bueno para comprobar!
• Si quiere comparar años específicos aquí, y no planeó de antemano qué dos años comparar, probablemente debería corregir por comparaciones múltiples.

Answer 2

Una pregunta similar (preguntando más o menos lo contrario, qué pasa si los intervalos se superponen) ocurrió aquí ¿Por qué la media ± 2*SEM (intervalo de confianza del 95%) se solapa, pero el valor p es 0,05?

Hacer comparaciones sobre los errores estándar o los intervalos de confianza es una regla general que utiliza

$$z_{overlap} = \frac{\vert \bar{X}_1- \bar{X}_2 \vert}{SE_1+SE_2} \geq 2$$

mientras que el valor t es más preciso

$$t = \frac{\bar{X}_1 - \bar{X}_2}{\sqrt{SE_1^2+SE_2^2}}$$

Normalmente se obtiene $z_{overlap}<t$ y subestima la distancia y sobreestima el valor p. Por lo tanto, incluso cuando los intervalos sólo se solapan, la diferencia "correcta" (la $t$ ) podría ser mayor y el valor p menor que el 5%. Y si los intervalos no se solapan, el valor p será aún menor.

Si los intervalos de confianza no se superponen, el $t$ será incluso mayor que 2, y el valor p debería ser inferior al 5%.

Excepciones En la respuesta a esta pregunta se mencionan dos excepciones

• En el caso de la varianza agrupada, puede darse la situación -aunque es poco frecuente- de que la varianza de la muestra mayor sea mayor que la varianza de la muestra menor, y entonces es posible que $t<z_{overlap}$ .

• En lugar de valores z y una prueba z, en realidad estás haciendo ( debería hacer ) una prueba t. Así que puede ser que los niveles en los que se basan los intervalos de confianza para las barras de error (como "el 95% equivale a 2 veces el error estándar") sean diferentes para la prueba t. Para ser justos, para comparar manzanas con manzanas, deberías utilizar el mismo estándar y basar los niveles de confianza para las barras de error también en una prueba t. Así que supongamos que también para la prueba t el nivel de límite que se relaciona con el 95% es igual o inferior a 2 (este es el caso para tamaños de muestra superiores a 60).

Estas son las excepciones, cuando no podemos concluir con certeza que el valor p es inferior al 5% cuando los intervalos de confianza del 95% no se superponen.