¿Significado llano de las pruebas "dependientes" e "independientes" en la literatura sobre comparaciones múltiples?

Question

Tanto en el tasa de error por familia (FWER) y tasa de falsos descubrimientos (FDR), se dice que determinados métodos de control de FWER o FDR son apropiados para pruebas dependientes o independientes. Por ejemplo, en el artículo de 1979 "A Simple Sequentially Rejective Multiple Test Procedure", Holm escribió para contrastar su método Šidák escalonado frente a su método de control Bonferroni escalonado:

La misma simplicidad computacional se obtiene cuando los estadísticos de prueba son independiente .

En "Controlling the False Discovery Rate" de Benjamini y Hochberg (1995), los autores escriben:

Teorema 1. Para independiente y para cualquier configuración de falsas hipótesis nulas, el procedimiento anterior controla el FDR en $q^{*}$ .

Más tarde, en 2001, Benjamini y Yekutieli escriben:

1.3. El problema . Al intentar utilizar el enfoque FDR en la práctica, dependiente se encuentran con más frecuencia que independiente y el ejemplo de los puntos finales múltiples es un buen ejemplo de ello.

¿Qué significados particulares de dependiente e independiente utilizan estos autores? Estaría encantado de recibir definiciones formales de lo que hace que las pruebas sean dependientes o independientes entre sí si van acompañadas de una explicación en lenguaje llano.

Se me ocurren varios significados posibles, pero no acabo de entender cuál podría ser, si es que hay alguno:

• "Dependiente" significa pruebas multivariantes (es decir, muchas variables dependientes con predictores iguales o similares); independiente significa pruebas univariantes (es decir, muchas variables independientes, una variable dependiente).

• "Dependiente": pruebas basadas en sujetos emparejados/emparejados (por ejemplo, emparejados t test, ANOVA de medidas repetidas, etc.); "independiente" significa un diseño de estudio de muestras no apareadas/independientes.

• "Dependiente" significa que la probabilidad de que una prueba sea rechazada está correlacionada con la probabilidad de que otra prueba sea rechazada, y "dependencia positiva" significa que esta correlación es positiva; "independiente" significa que las probabilidades de rechazo no están correlacionadas.

Referencias
Benjamini, Y. y Hochberg, Y. (1995). Control de la tasa de falsos descubrimientos: Un enfoque práctico y eficaz de las pruebas múltiples . Revista de la Real Sociedad Estadística. Serie B (Metodológica) , 57(1):289-300.

Benjamini, Y. y Yekutieli, D. (2001). El control de la tasa de falsos descubrimientos en pruebas múltiples bajo dependencia . Anales de Estadística , 29(4):1165-1188.

Holm, S. (1979). Un sencillo procedimiento de prueba múltiple secuencialmente rechazable . Revista Escandinava de Estadística , 6(65-70):1979.

Answer 1

"Comparaciones múltiples" es el nombre que recibe el problema general de tomar decisiones basándose en los resultados de más de una prueba. La naturaleza del problema queda clara con el famoso XKCD "Gominola verde" viñeta en el que los investigadores realizaron pruebas de hipótesis de asociaciones entre el consumo de gominolas (de 20 colores diferentes) y el acné. Una de las pruebas arrojó un valor p inferior a $1/20$ , lo que lleva a la conclusión de que "las gominolas verdes provocan acné". El chiste es que los p-valores, por diseño, tienen un $1/20$ probabilidad de ser inferior a $1/20$ por lo que intuitivamente espere ver un valor p tan bajo entre $20$ diferentes pruebas.

Lo que no dice la viñeta es si el $20$ pruebas se basaron en conjuntos de datos separados o en un solo conjunto de datos.

Con conjuntos de datos separados, cada $20$ resultados tiene un $1/20$ probabilidad de ser "significativo". Las propiedades básicas de las probabilidades (de sucesos independientes) implican entonces que la probabilidad toda $20$ resultados son "insignificantes" es $(1-0.05)^{20}\approx 0.36$ . La posibilidad restante de $1-0.36 = 0.64$ es lo suficientemente grande como para corroborar nuestra intuición de que un único resultado "significativo" en este gran grupo de resultados no es ninguna sorpresa; no se puede asignar válidamente ninguna causa a dicho resultado, salvo la operación del azar.

Si el $20$ resultados se basaron en un común sin embargo, el cálculo anterior sería erróneo: supone que todos los $20$ resultados fueron estadísticamente independientes. Pero, ¿por qué no iban a serlo? El análisis de la varianza ofrece un ejemplo estándar: cuando se comparan dos o más grupos de tratamiento con un grupo de control, cada comparación implica la mismo resultados del control. Las comparaciones no son independientes. Ahora bien, por ejemplo, las diferencias "significativas" podrían deberse a una variación fortuita en el controles. Esta variación podría modificar simultáneamente las comparaciones con cada grupo.

(El ANOVA resuelve este problema mediante su prueba F global. Es una especie de comparación "para gobernarlos a todos": no confiaremos en la comparación entre grupos a menos que primero esta prueba F sea significativa).

Podemos abstraer la esencia de esta situación con el siguiente marco. Comparaciones múltiples se refiere a tomar una decisión a partir de los p-valores $(p_1, p_2, \ldots, p_n)$ de $n$ pruebas distintas. Esos valores p son variables aleatorias. Suponiendo que todas las hipótesis nulas correspondientes sean lógicamente coherentes, cada una debería tener una distribución uniforme. Cuando conocemos su distribución conjunta, podemos construir formas razonables de combinar todas las $n$ en una única decisión. De lo contrario, lo mejor que podemos hacer normalmente es basarnos en límites aproximados (que es la base de la corrección de Bonferroni, por ejemplo).

Distribuciones conjuntas de independiente las variables aleatorias son fáciles de calcular. Por ello, la bibliografía distingue entre esta situación y el caso de la no independencia.

En consecuencia, el significado correcto de "independiente" en las citas es en el sentido estadístico habitual de variables aleatorias independientes.

---

Tenga en cuenta que era necesario un supuesto para llegar a esta conclusión: a saber, que todos $n$ de las hipótesis nulas son lógicamente coherentes. Como ejemplo de lo que se está evitando, considere la realización de dos pruebas con un lote de datos univariantes $(x_1, \ldots, x_m)$ se supone que es una muestra aleatoria de una distribución Normal de media desconocida $\mu$ . La primera es una prueba t de $\mu=0$ con valor p $p_1$ y la segunda es una prueba t de $\mu=1$ con valor p $p_2$ . Dado que ambas no pueden lógicamente sostenerse simultáneamente, sería problemático hablar de "la distribución nula" de $(p_1, p_2)$ . En este caso, ¡no puede haber tal cosa! Por lo tanto, el propio concepto de independencia estadística a veces ni siquiera puede aplicarse.