¿Puede un intervalo de confianza estrecho en torno a un efecto no significativo aportar pruebas de la nulidad?

Question

Obviamente, es falaz suponer que el hecho de no rechazar el nulo implica que el nulo es verdadero. Pero en un caso en el que no se rechaza la nulidad y el correspondiente intervalo de confianza (IC) es estrecho y centrado en torno a 0, ¿no proporciona esto pruebas para ¿el nulo?

Tengo dos opiniones: Sí, en la práctica esto proporcionaría pruebas de que el efecto es más o menos 0. Sin embargo, en un marco estricto de comprobación de hipótesis, parece que los efectos nulos son simplemente inutilizables para la inferencia, al igual que sus correspondientes IC. Entonces, ¿qué significa un IC cuando su estimación puntual no es significativa? ¿Es también inutilizable para la inferencia o puede utilizarse como en el ejemplo anterior para cuantificar la evidencia de la nulidad?

Se fomentan las respuestas con referencias académicas.

Answer 1

En resumen: Sí.

Como escribió Andy W, concluir que el parámetro es igual a un valor especificado (en su caso, el tamaño del efecto es igual a cero), es una cuestión de pruebas de equivalencia.

En su caso, este estrecho intervalo de confianza puede indicar de hecho que el efecto es prácticamente nulo, es decir, que se puede rechazar la hipótesis nula de equivalencia. Equivalencia significativa en $1-\alpha$ -se muestra normalmente mediante un $1-2\alpha$ -intervalo de confianza que se encuentra completamente dentro de un intervalo de equivalencia preespecificado. Este intervalo de equivalencia tiene en cuenta que se pueden despreciar desviaciones realmente pequeñas, es decir, todos los tamaños del efecto dentro de este intervalo de equivalencia pueden considerarse prácticamente equivalentes. (No es posible realizar pruebas estadísticas de igualdad).

Para más información, consulte "Testing Statistical Hypotheses of Equivalence and Noninferiority" de Stefan Wellek, el libro más completo sobre este tema.

Answer 2

Las hipótesis nulas ejemplifican el significado de "Todos los modelos son erróneos, pero algunos son útiles". Probablemente sean más útiles si no se toman al pie de la letra y fuera de contexto, es decir, es importante recordar el propósito epistémico del nulo. Si se puede falsar, que es el objetivo previsto, entonces la alternativa resulta más útil por comparación, aunque siga siendo poco informativa. Si se rechaza la nula, se está diciendo que el efecto probablemente no es cero (o lo que sea; las hipótesis nulas también pueden especificar otros valores para la falsación)... ¿qué es entonces?

El tamaño del efecto calculado es la mejor estimación puntual del parámetro poblacional. En general, las probabilidades de que sea una sobreestimación o una subestimación deberían ser igualmente buenas, pero las probabilidades de que sea una diana en el centro son infinitesimales, como da a entender el comentario de @Glen_b. Si por algún extraño giro del destino (o por construcción, en cualquier caso, supongo que estamos hablando hipotéticamente) tu estimación cae directamente en $0.\bar 0$ , esto sigue sin ser una gran prueba de que el parámetro no tenga un valor diferente dentro del intervalo de confianza. El significado del intervalo de confianza no cambia en función de la significación de cualquier prueba de hipótesis, salvo en la medida en que puede cambiar de ubicación y anchura de forma relacionada.

En caso de que no esté familiarizado con el aspecto de las estimaciones del tamaño del efecto para muestras de una población (simulada) cuya hipótesis nula es literalmente cierta (o en caso de que no lo haya visto todavía y sólo esté aquí para un poco de entretenimiento estadístico), consulte el artículo de Geoff Cumming Danza de los $p$ Valores . En caso de que esos intervalos de confianza no sean lo suficientemente estrechos para su gusto, he intentado simular algunos de los míos en R utilizando muestras generadas aleatoriamente justo por debajo de $n=1\rm M$ cada uno de $\mathcal N(0,1)$ . Olvidé poner una semilla, pero puse x=c() y luego corrió x=append(x,replicate(500,cor(rnorm(999999),rnorm(999999)))) tantas veces como quise antes de terminar esta respuesta, lo que al final me dio 6000 muestras. Aquí hay un histograma y un gráfico de densidad utilizando hist(x,n=length(x)/100) y plot(density(x)) respectivamente:

$\ \ \ \ $

Como cabría esperar, hay pruebas de que una variedad de efectos distintos de cero surgen de estas muestras aleatorias de una población con efecto literalmente nulo, y estas estimaciones se distribuyen más o menos normalmente en torno al parámetro verdadero ( skew(x) = -.005, kurtosis(x) = 2.85). Imagine que sólo conoce el valor de su estimación a partir de una muestra de $n=1\rm M$ no el parámetro verdadero: ¿por qué esperaría que el parámetro estuviera más cerca de cero que su estimación en lugar de más lejos? Su intervalo de confianza podría incluir el nulo, pero el nulo no es realmente más plausible que el valor de la distancia equivalente del tamaño del efecto de su muestra en la dirección opuesta, y otros valores pueden ser más plausibles que ese, ¡especialmente su estimación puntual!

Si, en la práctica, quieres demostrar que un efecto es más o menos nulo, tienes que definir cuánto más o menos te inclinas a ignorar. Con estas enormes muestras que he simulado, la estimación de mayor magnitud que generé fue $|r|=.004$ . Con muestras más realistas de $n=999$ , la mayor que encuentro entre $1\rm M$ muestras es $|r|=.14$ . Una vez más, los residuos se distribuyen normalmente, por lo que son poco probables, pero la cuestión es que no son inverosímiles.

Un CI es probablemente más útil para la inferencia que un NHST en general. No sólo representa lo mala idea que podría ser suponer que el parámetro es insignificantemente pequeño, sino que representa una buena idea de lo que el parámetro es en realidad. Todavía se puede decidir si es despreciable, pero también se puede tener una idea de lo no despreciable que podría ser. Para más información sobre los intervalos de confianza, véase Cumming (2014 , 2013) .

_{<strong>Referencias</strong><br>- Cumming, G. (2013). <em>Comprender las nuevas estadísticas: Tamaños de los efectos, intervalos de confianza y metaanálisis </em>. Routledge.<br>- Cumming, G. (2014). Las nuevas estadísticas: Por qué y cómo. <em>Ciencia psicológica, 25 </em>(7), 7-29. Obtenido de <a href="http://pss.sagepub.com/content/25/1/7.full.pdf+html" rel="nofollow noreferrer">http://pss.sagepub.com/content/25/1/7.full.pdf+html </a>.}