¿Debemos abordar los ajustes de las comparaciones múltiples al utilizar los intervalos de confianza?

Question

Supongamos que tenemos un escenario de comparaciones múltiples como post hoc inferencia sobre estadísticas por pares, o como una regresión múltiple, donde estamos haciendo un total de $m$ comparaciones. Supongamos también que queremos apoyar la inferencia en estos múltiplos utilizando intervalos de confianza.

1. ¿Aplicamos ajustes de comparación múltiple a los IC? Es decir, al igual que las comparaciones múltiples obligan a redefinir $\alpha$ a la tasa de error por familia (FWER) o el tasa de falsos descubrimientos (FDR), ¿el significado de confianza (o credibilidad 1 ¿se ve alterado de forma similar por las comparaciones múltiples? Me doy cuenta de que una respuesta negativa en este caso hará que el resto de mis preguntas sean inútiles.

2. ¿Existen traducciones directas de los procedimientos de ajuste de comparaciones múltiples de las pruebas de hipótesis a la estimación de intervalos? Por ejemplo, ¿los ajustes se centrarían en cambiar el $\text{CI-level}$ en el intervalo de confianza: $\text{CI}_{\theta} = (\hat{\theta} \pm t_{(1-\text{CI-level)/2}}\hat{\sigma}_{\theta})$ ?

3. ¿Cómo abordaríamos los procedimientos de control ascendente o descendente de las IC? Algunos ajustes de la tasa de error de la familia del enfoque de la prueba de hipótesis para la inferencia son "estáticos" en el sentido de que se realiza exactamente el mismo ajuste para cada inferencia por separado. Por ejemplo, el ajuste de Bonferroni se realiza alterando el criterio de rechazo de:

• rechazar si $p\le \frac{\alpha}{2}$ a:

• rechazar si $p\le \frac{\frac{\alpha}{2}}{m}$ ,

pero el ajuste escalonado de Holm-Bonferroni no es "estático", sino que se realiza por:

• primer pedido $p$ -valores de menor a mayor, y luego

• rechazar si $p\le 1 - (1- \frac{\alpha}{2})^{\frac{1}{m+1-i}}$ (donde $i$ indexa la ordenación de los $p$ -valores) hasta

• no rechazamos una hipótesis nula, y automáticamente no rechazamos todas las hipótesis nulas posteriores.

Dado que el rechazo/fracaso de rechazo no se produce con los IC (de manera más formal, véanse las referencias más abajo), ¿significa eso que los procedimientos escalonados no traducir (es decir, incluyendo todos los métodos FDR)? Debo advertir aquí que estoy pas preguntarse cómo traducir los IC en pruebas de hipótesis (los representantes de la literatura de "pruebas de hipótesis visuales" citados más adelante abordan esa cuestión no trivial).

4. ¿Qué pasa con cualquiera de esos otros intervalos que mencioné entre paréntesis en el 1?

1 Dios, seguro que esperanza No me meto en problemas con los que rockean los dulces estilos bayesianos por usar esta palabra aquí. :)

Referencias
Afshartous, D. y Preston, R. (2010). Intervalos de confianza para datos dependientes: Equiparación del no solapamiento con la significación estadística . Estadística computacional y análisis de datos , 54(10):2296-2305.

Cumming, G. (2009). Inferencia a ojo: lectura de la superposición de intervalos de confianza independientes. La estadística en la medicina , 28(2):205-220.

Payton, M. E., Greenstone, M. H., y Schenker, N. (2003). Intervalos de confianza o de error estándar superpuestos: ¿Qué significan en términos de significación estadística? Revista de Ciencias de los Insectos , 3(34):1-6.

Tryon, W. W. y Lewis, C. (2008). Un método de intervalo de confianza inferencial para establecer la equivalencia estadística que corrige el factor de reducción de Tryon (2001) . Métodos psicológicos , 13(3):272-277.

Answer 1

Un tema excelente al que, lamentablemente, no se presta suficiente atención.

Cuando se habla de parámetros múltiples e intervalos de confianza, hay que distinguir entre simultáneamente inferencia y selectivo inferencia. La referencia [2] ofrece una excelente demostración del asunto.

Los intervalos de confianza simultáneos significan que todos los parámetros están cubiertos con $1-\alpha$ confianza.
Los intervalos de confianza selectivos significan que se cubre un subconjunto de parámetros seleccionados.

Estos dos conceptos pueden combinarse: Digamos que construye intervalos sólo sobre los parámetros para los que ha rechazado la hipótesis nula. Se trata claramente de una inferencia selectiva. Es posible que quiera garantizar la cobertura simultánea de los parámetros seleccionados, o la cobertura marginal de los parámetros seleccionados. Lo primero sería la contrapartida del control FWER, y lo segundo del control FDR.

Y ahora, más allá de la cuestión: No todos los procedimientos de prueba tienen sus intervalos correspondientes. Para conocer los procedimientos FWER y los intervalos que los acompañan, véase [3]. Lamentablemente, esta referencia está un poco anticuada. Para la contraparte de intervalo del control BH FDR, ver [1] y una aplicación en [4] (que también incluye una breve revisión del asunto). Tenga en cuenta que este es un campo de investigación fresco y activo, por lo que puede esperar más resultados en un futuro próximo.

[1] Benjamini, Y., y D. Yekutieli. " Intervalos de confianza múltiples ajustados a la tasa de falsos descubrimientos para los parámetros seleccionados ." Revista de la Asociación Americana de Estadística 100, no. 469 (2005): 71-81.

[2] Cox, D. R. " Una observación sobre los métodos de comparación múltiple ." Technometrics 7, nº 2 (1965): 223-24.

[3] Hochberg, Y., y A. C. Tamhane. Procedimientos de comparación múltiple . Nueva York, NY, EE.UU.: John Wiley & Sons, Inc., 1987.

[4] Rosenblatt, J. D., e Y. Benjamini. " Correlaciones selectivas; no es vudú ." NeuroImage 103 (diciembre de 2014): 401-10.

Answer 2

Me gustaría nunca ajustar los intervalos de confianza para las pruebas múltiples. No soy un gran aficionado a los valores p, porque creo que la estimación de los parámetros es un mejor uso de la estadística que las pruebas de hipótesis que nunca son exactamente ciertas. Sin embargo, admito que las pruebas de hipótesis tienen su valor, por ejemplo, en un ensayo controlado aleatorio en el que al menos se puede argumentar que, asintóticamente, si un tratamiento no funciona, la hipótesis nula es verdadera. Sin embargo, como ya he dicho en otro lugar [1], normalmente esto implica tener un resultado primario. Sin embargo, los intervalos de confianza, en la definición frecuentista, no implican hipótesis y, por lo tanto, no necesitan ajustes para otras comparaciones potencialmente irrelevantes. Supongamos que estoy analizando fenotipos asociados a un gen concreto, por ejemplo, la altura y la presión arterial. Me gustaría saber cuál es la diferencia de estatura entre los que tienen y los que no tienen el gen, y qué tan bien la he estimado. No veo que el hecho de haber medido también la presión arterial tenga nada que ver. Donde sí podría importar es que si estos dos fueran los únicos significativos de los cientos que analizamos. Entonces es probable que las diferencias sean, por azar, mayores que las esperadas en los experimentos contrafactuales en los que sólo medimos la altura y la presión arterial, pero lo hicimos cientos de experimentos. Sin embargo, en esas circunstancias, ningún ajuste simple funcionaría, y es mejor dar la estimación no ajustada, pero aclarar cómo se obtuvieron esas comparaciones. También hemos publicado algunos resultados sobre los intervalos de confianza superpuestos[2].

[1] Campbell MJ y Swinscow TDV (2009) Statistics at Square One. 11th ed Oxford; BMJ Books Blackwell Publishing

[2]Julious SA, Campbell MJ, Walters SJ (2007) Predicción de las medias futuras a partir de los resultados del ensayo actual. Contemporary Clinical Trials, 28, 352-357.