Escaso tamaño de la muestra: Prueba LR frente a F

Question

Algunos de ustedes habrán leído este bonito artículo:

O'Hara RB, Kotze DJ (2010) Do not log-transform count data. Métodos en Ecología y Evolución 1:118-122. klick .

Actualmente estoy comparando modelos binomiales negativos con modelos gaussianos en datos transformados. A diferencia de O'Hara RB, Kotze DJ (2010), estoy estudiando el caso especial de tamaños de muestra bajos y en un contexto de comprobación de hipótesis.

A utilizó simulaciones para investigar las diferencias entre ambos.

Simulaciones de error de tipo I

Todos los cálculos se han realizado en R.

He simulado los datos de un diseño factorial con un grupo de control ( $_c$ ) y 5 grupos de tratamiento ( $_{15}$ ). Las abundancias se extrajeron de una distribución binomial negativa con parámetro de dispersión fijo (=3,91). Las abundancias fueron iguales en todos los tratamientos.

Para las simulaciones varié el tamaño de la muestra (3, 6, 9, 12) y las abundancias (2, 4 ,8, ... , 1024). Se generaron 100 conjuntos de datos y se analizaron mediante un MLG binomial negativo ( MASS:::glm.nb() ), un GLM de cuasipoisson ( glm(..., family = 'quasipoisson' ) y un MLG gaussiano + datos transformados logarítmicamente ( lm(...) ).

Comparé los modelos con el modelo nulo utilizando una prueba de Likelihood-Ratio ( lmtest:::lrtest() ) (GLM gaussiano y GLM bin neg.), así como pruebas F (GLM gaussiano y GLM quasipoisson)( anova(...test = 'F') ).

Si es necesario puedo proporcionar el código R, pero véase también aquí para una pregunta mía relacionada.

Resultados

Para tamaños de muestra pequeños, las pruebas LR (verde - neg.bin.; rojo - gaussiano) conducen a un mayor error de tipo I. Las pruebas F (azul - gaussiana, púrpura - cuasi-poisson) parecen funcionar incluso con muestras de pequeño tamaño.

Las pruebas LR arrojan errores de tipo I similares (aumentados) tanto para LM como para GLM.

Curiosamente, el cuasi Poisson funciona bastante bien (aunque también con una prueba F).

Como era de esperar, si el tamaño de la muestra aumenta, la prueba LR también funciona bien (asintóticamente correcta).

Debido al pequeño tamaño de la muestra, ha habido algunos problemas de convergencia (no mostrados) para el GLM, sin embargo sólo en bajas abundancias, por lo que la fuente de error puede ser despreciada.

Preguntas

1. Tenga en cuenta que los datos se generaron a partir de un modelo neg.bin., por lo que habría esperado que el GLM obtuviera los mejores resultados. Sin embargo, en este caso un modelo lineal sobre abundancias transformadas obtiene mejores resultados. Lo mismo para cuasi Poisson (prueba F). Sospecho que esto se debe a que la prueba F funciona mejor con muestras de pequeño tamaño.

2. La prueba LR no funciona bien debido a la asintótica. ¿Existen posibilidades de mejora?

3. ¿Existen otras pruebas para los MLG que ofrezcan mejores resultados? ¿Cómo puedo mejorar las pruebas de los MLG?

4. ¿Qué tipo de modelos deben utilizarse para los datos de recuento con muestras de pequeño tamaño?

Edita:

Curiosamente, la prueba LR para un MLG binomial funciona bastante bien:

Aquí extraigo datos de una distribución binomial, configuración similar a la anterior.

Rojo: modelo gaussiano (LR-Test + transformación arcsin), Ocre: GLM binomial (LR-Test), Verde: modelo gaussiano (F-Test + transformación arcsin), Azul: GLM cuasibinomial (prueba F), Morado: No paramétrico.

Aquí sólo el modelo gaussiano (LR-Test + transformación arcsin) muestra un aumento del error de tipo I, mientras que el GLM (LR-Test) lo hace bastante bien en términos de error de tipo I. Así que parece que también hay una diferencia entre distribuciones (¿o quizás glm frente a glm.nb?).

Answer 1

La prueba de razón de verosimilitudes que está utilizando utiliza una distribución chi-cuadrado para aproximar la distribución nula de verosimilitudes. Esta aproximación funciona mejor con tamaños de muestra grandes, por lo que su inexactitud con un tamaño de muestra pequeño tiene cierto sentido.

Veo algunas opciones para mejorar el error de tipo I en su situación:

• Existen versiones corregidas de la prueba del cociente de probabilidades, como la corrección de Bartlett. No sé mucho sobre ellas (más allá del hecho de que existen), pero he oído que Ben Bolker sabe más.
• Se podría estimar la distribución nula de la razón de verosimilitud mediante bootstrapping. Si el cociente de probabilidad observado queda fuera del 95% medio de la distribución bootstrap, entonces es estadísticamente significativo.

Por último, la distribución de Poisson tiene un parámetro libre menos que la binomial negativa, y podría merecer la pena probarla cuando el tamaño de la muestra es muy pequeño.