¿Es correcto hacer prefiltrado antes de pruebas múltiples?

Question

A menudo veo que los autores de estudios a gran escala que teóricamente deben realizar múltiples correcciones de prueba para una gran cantidad de pruebas hacen un prefiltrado, es decir, desechan todas las pruebas que no se ven bien a simple vista (por ejemplo, la comparación de 10000 características entre dos grupos - los investigadores pueden desechar todas las características con grandes varianzas o pequeñas varianzas antes de realizar cualquier prueba).

Por ejemplo, un buen ejemplo seguro y correcto de prefiltrado: el truco de Tarone, por ejemplo, en la séptima diapositiva aquí: https://www.ethz.ch/content/dam/ethz/special-interest/bsse/borgwardt-lab/documents/talk_slides/KBorgwardt_UniBasel_20160421.pdf .

Pero la corrección del prefiltrado a veces no es tan obvia en otros estudios. A veces literalmente parece como "filtramos los valores de p que son mayores de 0.5" o cercanos a eso, "la mayoría de los ejemplos que filtramos probablemente tienen valores de p grandes" - pero en otras palabras, pueden usar "tamaño del efecto" en lugar de "valor de p" (al aplicar la prueba t), y así sucesivamente.

La pregunta es: ¿cuándo es correcto el prefiltrado de algunas pruebas antes del procedimiento de control FDR, y cuándo es un fraude?

UPD: Encontré este documento que obviamente aborda el tema, pero solo comencé a leerlo.

Answer 1

Has malinterpretado la recomendación del método de Tarone. Lee su artículo tú mismo. Tarone señaló que el valor de $p$ para análisis discretos tiene un límite inferior teórico. Por ejemplo, si se mide la siguiente tabla de contingencia de $2 \times 2$ relacionando un patrón de alelos con un estado de enfermedad:

$$ \begin{array}{rcc} & \text{Cáncer} & \text{Libre de enfermedad} \\ \hline \text{aa} & 4 & 0 \\ \text{aA o AA} & 0 & 4 \\ \end{array}$$

La tabla demuestra la asociación más grande posible que este diseño puede lograr: una razón de momios de $\infty$ pero un valor de $p$ bilateral de 0.02857 = 2/70 donde 70 es el número de permutaciones de tablas de 8 pacientes teniendo 4 enfermos y 4 libres de enfermedad y 4 genotipos homocigotos recesivos y 4 genotipos heterocigotos o homocigotos dominantes. $p = 0.02857$ es el menor valor de $p$ que se puede lograr en este caso. Si se realizan dos o más comparaciones, el nivel de significancia de 0.025 es teóricamente imposible de alcanzar.

El método de Tarone descarta inmediatamente dichas pruebas no en base a ser estadísticamente no significativas sino en base a la falta de precisión. Esta decisión se basó únicamente en las frecuencias marginales reales (4/4 por 4/4). Esto fue suficiente para desacreditar la comparación.