Tasa de falso descubrimiento de las regresiones múltiples modelos

Question

Tengo 10 modelos de análisis de pupa tasas de desarrollo (DR) y desarrollo de veces (DT) en función de una serie de factores:

m1 <- lm(DR ~ population+sex+temperature+weight+population*temperature)
m2 <- lm(DR ~ population+sex+population*sex)
m3 <- lm(DR ~ population+sex+temperature+population*temperature)
m4 <- gls(DR ~ population+sex, ...)
m5 <- lm(DR ~ population+sex+temperature+weight+population*temperature)
m6 <- glm(DT ~ sex+temperature+weight, gamma)

... y así sucesivamente

Los modelos se refieren a conjuntos de datos de dos especies diferentes, dos años diferentes y en diferentes fases de desarrollo de las pupas.

Uno de los revisores le preguntó por el control del experimento-amplia tasa de falso descubrimiento, que no es tan común en el campo de la ecología. En muchos de los ejemplos de la genética y los estudios médicos que uno de los resultados de las pruebas en sólo un p-valor, que es, a continuación, ajustar con el FDR procedimientos. ¿Cómo funciona en mi caso? La extracción de los valores de p de sólo, digamos, la población de la variable y el uso de ellos? Y después de la misma por separado para el sexo, y así sucesivamente? O utilizar todos los valores de p de cada uno de los modelos como un vector?

Si es así, ¿qué voy a hacer en los casos en que el factor ya ha sido excluida del modelo final – saltar a ellos y utilizar sólo los de la izquierda? Agregue de nuevo a la modelo?

Answer 1

@Dian respirar tranquilo, es bastante mucho no es demasiado difícil. Así que vamos a trabajar a partir de un territorio familiar para tasa de falso descubrimiento (FDR).

En primer lugar, veo que tienes un montón de resultados, con un número variable de predictores. Alguien que esté más familiarizado con multivariante de regresión (es decir, múltiples dependiente de variables, asumiendo las posibles correlaciones entre los errores de modelos diferentes) se tiene que hablar de si su enfoque de modelado es la mejor. Vamos a tomar como dado.

Cada uno de sus modelos se producen algunos de número de $p$-valores (por cierto soy epidemiólogo, y no tienen absolutamente ninguna idea de lo que quieres decir acerca de que "sólo una $p$-valor". Si eso fuera cierto, se podría cambiar la naturaleza de mi trabajo y el de mis colegas considerablemente. :). Usted puede seguir adelante y poner a prueba sus hipótesis acerca de los efectos individuales por separado el uso de estos $p$-valores.

Por desgracia, la prueba de hipótesis es como la lotería (el más usted juega, más su oportunidad de "ganar"), así que si quieres ir en cada prueba de hipótesis suponiendo que la hipótesis nula es verdadera, entonces usted está en problemas, porque $\alpha$ (su voluntad de hacer/probabilidad de falso rechazo de una verdadera hipótesis nula) sólo se aplica a una sola prueba.

Usted puede haber oído hablar de "la corrección de Bonferroni/ajuste", donde intenta resolver este dilema mediante la multiplicación de su $p$-valores por el número total de hipótesis nula que se está probando (vamos a llamar a ese número de pruebas de $m$). En realidad está tratando de redefinir $\alpha$ como una familia de sabios de la tasa de error (FWER), o la probabilidad de que al menos uno de falso rechazo de una familia de pruebas, suponiendo que todas las hipótesis nula es verdadera. Alternativamente, y de manera equivalente, se puede pensar en el ajuste de Bonferroni dividiendo $\alpha$ $m$ (o $\alpha/2$ $m$ si se realiza de dos colas pruebas, que con toda probabilidad usted está en un contexto de regresión). Tenemos estas dos alternativas, porque basar una decisión de rechazo en $p \le \frac{\alpha/2}{m}$ es equivalente a $mp \le \frac{\alpha}{2}$.

Por supuesto, la corrección de Bonferroni es una técnica de martillo contundente. Positivamente hemorragias poder estadístico. $\overset{_{\vee}}{\mathrm{S}}\mathrm{idák}$ tuvo una pizca más poder estadístico, por alterar el ajuste de la $p$-valor de a $1-(1-p)^{m}$. Holm mejorado tanto de Bonferroni y $\overset{_{\vee}}{\mathrm{S}}\mathrm{idák}$ ajustes mediante la creación de un paso a paso de ajuste. El paso a procedimiento para la corrección de Bonferroni adjustemnt:

1. Calcular el exacto $p$-valor para cada prueba.
2. El fin de la $p$-valores de menor a mayor.

3. Para la primera prueba, ajuste el $p$-valor de $pm$; y en general:

   Para la i$^{\text{th}}$ prueba, ajuste el $p$-valor de $p(m–(i–1))$.

4. Utilizando el método de Holm, para todas las pruebas después de la primera prueba para los que no somos capaces de rechazar H$_{0}$ nosotros también no se puede rechazar la hipótesis nula.

La Carrasca-$\overset{_{\vee}}{\mathrm{S}}\mathrm{idák}$ ajuste es similar, pero usted podría ajustar cada una de las $p$-valor de uso $1-(1-p)^{m-(i-1)}$.

Algunas personas, en particular la mayoría de Benjamini y Hochberg (1995), no se sentían cómodos con la visión del mundo implícita en la suposición de que todas las hipótesis nula se cumplen dentro de un procedimiento paso a paso. Sin duda, pensaron, si realiza un ajuste y rechazar una sola hipótesis, que debe implicar que un mejor suposición sería que el resto de los $m-1$ hipótesis tienen una menor probabilidad de todos hipótesis nula siendo verdadera? También, la ciencia en general no se asume que no existen las relaciones en el mundo: todo lo contrario, de hecho. Introduzca el FDR que progresivamente se supone que las probabilidades de rechazo debe aumentar si las hipótesis anteriores fueron rechazadas después del ajuste. Aquí está el paso-abajo procedimiento que se propone:

1. Calcular el exacto $p$-valor para cada prueba.
2. El fin de la $p$-valores de mayor a menor (step-down!).
3. Para la primera prueba ($i=1$), ajustar el $p$-valor de $\frac{pm}{m-(1-1)} = p$.
4. Para la i$^{\text{th}}$ prueba, ajuste el $p$-valor de $\frac{pm}{m-(i–1)}$.
5. El uso de Benjamini Y Hochberg del método, rechazamos todas las pruebas incluidas y después de la primera prueba para la cual rechazamos la hipótesis nula.

Nosotros a menudo plazo $p$-valores que han sido ajustados de esta manera $q$-valores.

Las ventajas de este FDR de ajuste incluyen (1) más poder estadístico, especialmente para las grandes $m$, y (2) la facilidad de integración de pruebas adicionales/$p$-valores (es decir, la adición de $p$-valores desde un modelo de regresión) de una manera que deja el inferencias a partir de la primera FDR ajuste sin cambios.

Actualización: Todos estos FWER procedimientos, y el FDR procedimiento que se acaba de describir puede producir ajustado $p$-valores que son mayores que uno. Cuando los informes ajustados $p$-valores, estos son generalmente reportados como $p=1$, $p>.999$, $p=$not reject o algo a lo largo de esas líneas.

Referencias

Benjamini, Y. y Hochberg, Y. (1995). El control de la Tasa de Falso Descubrimiento: Un Práctico y Potente Enfoque de Múltiples Pruebas. Diario de la Sociedad Real de Estadística. Serie B (Metodológico), 57(1):289-300.