Corrección de pruebas múltiples: robusta frente a muchos valores p insignificantes

Question

Trabajo en el campo de la bioinformática, así que he visto una buena cantidad de pruebas múltiples nulas (figura 1) Así como una clara señal en las distribuciones de los valores p (figura 2)

Pero también he visto ocasionalmente un tipo de distribución de valores p con un pico alto y otro bajo.

Sospecho que se trata de un evento caracterizado pero no sé cómo se llama así que no puedo buscarlo. Pensando en ello, parece que confunde la capacidad de la Tasa de Descubrimiento Falsa (FDR) para estimar la distribución uniforme de fondo, lo que hace que ningún valor sobreviva a la corrección de la prueba múltiple, aunque claramente parece haber una señal significativa.

Así que.

1) ¿Existe un nombre para este fenómeno? ¿Qué lo provoca? ¿Basta con decir que hay varias pruebas inapropiadas y que por eso se pueden ignorar? ¿Está justificado recortar esta larga cola insignificante ya que estas pruebas eran claramente inapropiadas?

2) ¿Existe una corrección de las pruebas múltiples que sea sólida para este fenómeno?

3) ¿Es lo mismo un gran número de valores p extremadamente insignificantes que un gran número de valores p moderadamente insignificantes?

¿Se trata de un fenómeno diferente? ¿Requiere una respuesta diferente y/o una corrección de pruebas múltiples para salvar la señal?

Answer 1

Los valores P se distribuyen uniformemente bajo la nulidad. En otras palabras, si no hay un efecto verdadero, es igualmente probable observar cualquier valor p en el rango $[0, 1]$ .

Por otro lado, cuando hay un efecto, los valores p tenderán a cero (considere el tamaño del efecto).

Por lo tanto, observar algo como tu tercer o cuarto histograma sugiere que algo se está haciendo mal. Sugeriría empezar por considerar si estás utilizando la prueba correcta, y si sus supuestos se cumplen bien.

El principio que yo seguiría aquí es el de GIGO: garbage in garbage out. En otras palabras, tener valores p "bien formados" hará que las correcciones posteriores de las pruebas múltiples sean más fiables.