Todo está en la familia; pero ¿debemos incluir las leyes demasiado?

Question

Supongamos que tengo un experimento con dos o más factores. Un total de ANOVA se construye, y luego seguimos con dos o más conjuntos de post hoc de pruebas, dicen que las comparaciones múltiples. Mi pregunta es acerca de cómo los grandes---y cuántos---las familias deben ser utilizados como base para la multiplicidad de los ajustes de estos post hoc de ensayos.

Un ejemplo es el de la urdimbre se rompe conjunto de datos a partir de Tukey libro en la EDA. Hay dos factores: wool (en dos niveles) y tension (en tres niveles). La tabla ANOVA es:

Source       Df Sum Sq Mean Sq F value    Pr(>F)    
wool          1  450.7  450.67  3.7653 0.0582130
tension       2 2034.3 1017.13  8.4980 0.0006926
wool:tension  2 1002.8  501.39  4.1891 0.0210442
Residuals    48 5745.1  119.69  

Claramente, la interacción es necesario en el modelo. Así que nos decidimos a hacer comparaciones de los niveles de cada factor, sostiene el otro factor fijo. Los resultados están por debajo, con algunas anotaciones a que se hace referencia más adelante:

*** Pairwise comparisons of tension for each wool ***
*** All combined: Family T ***

wool = A:   *** Family T|A ***
 contrast   estimate       SE df t.ratio
 L - M    20.5555556 5.157299 48   3.986
 L - H    20.0000000 5.157299 48   3.878
 M - H    -0.5555556 5.157299 48  -0.108

wool = B:   *** Family T|B ***
 contrast   estimate       SE df t.ratio
 L - M    -0.5555556 5.157299 48  -0.108
 L - H     9.4444444 5.157299 48   1.831
 M - H    10.0000000 5.157299 48   1.939


*** Comparison of wool for each tension ***
*** All combined: Family W ***

tension = L:   *** Family W|L ***
 contrast  estimate       SE df t.ratio
 A - B    16.333333 5.157299 48   3.167

tension = M:   *** Family W|M ***
 contrast  estimate       SE df t.ratio
 A - B    -4.777778 5.157299 48  -0.926

tension = H:   *** Family W|H ***
 contrast  estimate       SE df t.ratio
 A - B     5.777778 5.157299 48   1.120

Creo que hay diferentes prácticas por ahí, y me pregunto que son los más comunes, y lo que los argumentos de la gente haría a favor o en contra de cada enfoque. En informática ajustado $P$ de los valores, debemos hacer multiplicidad ajustes para...

1. cada uno de los cinco más pequeños de las familias (T|a, T|B, ..., W|H) por separado? (Nota - el pasado 3 familias tienen sólo una prueba por lo que no habría multiplicidad de ajuste para aquellos)
2. cada una de las familias más grandes (T, con 6 pruebas y W, con 3 pruebas) por separado?
3. todos los $6+3=9$ pruebas considerado como una gran familia?

Estoy interesado tanto en lo que la gente suele hacer (incluso si ellos no han pensado mucho sobre ello) y por qué (si tienen). Un par de cosas que podría mencionar son:

• Existen 3 $F$ pruebas en la tabla ANOVA. No recuerdo ver a nadie considere la posibilidad de una multiplicidad de ajuste en la prueba ANOVA. Si ese es el caso, y recomendar la opción (3), están siendo incompatible?
• Si se nos había hecho un poco más pequeño experimento en el que todas las pruebas son menos potentes, es posible que la interacción no habría sido significativo, que conduce a un número mucho menor de post hoc de comparaciones de medias marginales sólo. Por otra parte, el marginal significa que bien podría haber más pequeños SEs de la celda significa hacer en el mayor experimento. Si, además, la multiplicidad de ajuste es menos conservador, que podría tener más "significativo" de los resultados con menos datos de los que nos gustaría tener más datos.

Interesado en ver lo que la gente tiene que decir...

Answer 1

Nadie, sin embargo, respondió, así que voy a tomar un crack en esto.

Es mi opinión (y me encantaría escuchar los pensamientos del otro) que debe ser ajustado para el total de 9 pruebas en este caso. Suponiendo que estamos usando en la familia sabia de la tasa de error de corrección,

• Estamos simultáneamente extraer conclusiones a partir de las 9 pruebas a la vez. I. e. escaneo hacia abajo por la lista y ver algo importante.

• Para ser capaz de hacer esto, estamos considerando un general de la familia de sabios de la tasa de error de 5%. La alternativa sería corregir individualmente los grupos a un 5% de FWER. Esto significaría que al momento de interpretar, no podríamos interpretar las pruebas juntos, y en vez de tener que buscar en los primeros 6 pruebas y creo que hay un 5% de probabilidad de un falso positivo, que, posteriormente, examinar cada una de las otras pruebas en vez de saber que hay un 5% de probabilidad de un falso positivo para cada grupo. IMO la utilidad de múltiples pruebas de corrección es que somos capaces simultáneamente de hacer inferencias a partir de varias pruebas a la vez. Parece más lógico que deberíamos ver todos 9 los exámenes y saber que hay un 5% de probabilidad de un falso positivo, en lugar de tener que examinar por separado, algo parecido a la no corrección.

• La cuestión del ajuste para los tres $F$-pruebas en el ANOVA es interesante, pero en mi opinión sólo es relevante si desea hacer algún modelo de selección en la que sólo se aceptan predictores significativos. Esta podría ser una buena lectura, específicamente la conclusión es una muy sucinta y excelente lectura. Me robaron ese enlace de esta pregunta.

• Su punto acerca de la inclusión de los efectos de la interacción es muy interesante, y creo que se podría definir como la selección de modelo. Le han incluido los efectos de la interacción si eran importantes? En este caso, tal vez el $F$ estadísticas en el original ANOVA debería haber sido ajustado con el fin de facilitar la selección de predictores significativos.

En general creo que si usted está dibujando simultánea de una inferencia a partir de un grupo, usted debe considerar cada prueba en la que el grupo de corrección. De lo contrario, el estándar de comprensión del grupo de control de la tasa de error no se mantiene, y es bastante difícil conceptualmente seguir la pista de lo que ha sido ajustado y lo que no. Mucho mejor, en mi opinión, para mantener todas las pruebas que rindan cuentas y mantienen a la familia de sabios de la tasa de error en un determinado umbral.

Si usted tiene cualquier refutaciones, me encantaría saber de ellos, y estoy seguro de que algunas personas no estarán de acuerdo con algunas cosas aquí. Muy interesado en escuchar los pensamientos del otro.