¿Por qué encontrar pequeños efectos en grandes estudios indica un sesgo de publicación?

Question

Varios trabajos metodológicos (por ejemplo, Egger et al 1997a, 1997b) analizan el sesgo de publicación revelado por los meta-análisis, utilizando gráficos de embudo como el que se muestra a continuación.

El documento de 1997b continúa diciendo que "si el sesgo de publicación está presente, se espera que, de los estudios publicados, los más grandes informen de los efectos más pequeños". Pero, ¿por qué? Me parece que todo esto demostraría lo que ya sabemos: los efectos pequeños sólo son detectables con muestras de gran tamaño mientras que no dice nada sobre los estudios que no se han publicado.

Además, el trabajo citado afirma que la asimetría que se evalúa visualmente en un gráfico de embudo "indica que hubo una no publicación selectiva de ensayos más pequeños con un beneficio menos considerable". Pero, de nuevo, no entiendo cómo cualquier características de los estudios que fueron publicado puede decirnos algo (permitirnos hacer inferencias) sobre obras que fueron no ¡publicado!

Referencias
Egger, M., Smith, G. D., y Phillips, A. N. (1997). Meta-análisis: principios y procedimientos . BMJ, 315(7121), 1533-1537.

Egger, M., Smith, G. D., Schneider, M., & Minder, C. (1997). Sesgo en el meta-análisis detectado por una simple prueba gráfica . BMJ , 315(7109), 629-634.

Answer 1

En primer lugar, tenemos que pensar en lo que es el "sesgo de publicación" y en cómo afectará a lo que realmente llega a la literatura.

Un modelo bastante simple para el sesgo de publicación es que recogemos algunos datos y si $p < 0.05$ publicamos. Si no, no lo hacemos. ¿Cómo afecta esto a lo que vemos en la literatura? Bueno, en primer lugar, garantiza que $|\hat \theta |/ SE(\hat \theta) >1.96$ (suponiendo que se utilice una estadística de Wald). El punto clave que se plantea es que si $n$ es realmente pequeño, entonces $SE(\hat \theta)$ es relativamente grande y un gran $|\hat \theta|$ es requerido para su publicación.

Ahora supongamos que en la realidad, $\theta$ es relativamente pequeño. Supongamos que realizamos 200 experimentos, 100 con tamaños de muestra realmente pequeños y 100 con tamaños de muestra realmente grandes. Obsérvese que de los 100 experimentos con tamaños de muestra realmente pequeños, los únicos que se publicarán según nuestro modelo simple de sesgo de publicación son aquellos con valores grandes de $|\hat \theta|$ sólo por un error aleatorio . Sin embargo, en nuestros 100 experimentos con muestras de gran tamaño, los valores de $\hat \theta$ se publicará. Así que si los experimentos más grandes muestran sistemáticamente un efecto menor que los experimentos más pequeños, esto sugiere que tal vez $|\theta|$ es en realidad significativamente menor que lo que solemos ver en los experimentos más pequeños que llegan a publicarse.

Nota técnica: es cierto que, o bien tener un gran $|\hat \theta|$ y/o pequeño $SE(\hat \theta)$ llevará a $p < 0.05$ . Sin embargo, dado que los tamaños de los efectos suelen considerarse como relativos a la desviación estándar del término de error, estas dos condiciones son esencialmente equivalentes.

Answer 2

Las respuestas aquí son buenas, +1 a todos. Sólo quería mostrar cómo podría verse este efecto en términos de gráfico de embudo en un caso extremo. A continuación simulo un pequeño efecto como $N(.01, .1)$ y extraer muestras de entre 2 y 2000 observaciones.

Los puntos grises de la trama no se publicarían bajo una estricta $p < .05$ régimen. La línea gris es una regresión del tamaño del efecto sobre el tamaño de la muestra que incluye los estudios con "malos valores p", mientras que la roja los excluye. La línea negra muestra el efecto verdadero.

Como se puede ver, en el sesgo de publicación hay una fuerte tendencia a que los estudios pequeños sobrestimen los tamaños del efecto y a que los más grandes informen de tamaños del efecto más cercanos a la verdad.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

Creado en 2019-02-20 por el paquete reprex (v0.2.1)

Answer 3

Lee esta afirmación de otra manera:

Si no hay sesgo de publicación, el tamaño del efecto debería ser independiente del tamaño del estudio.

Es decir, si se estudia un fenómeno, el tamaño del efecto es una propiedad del fenómeno, no de la muestra/estudio.

Las estimaciones del tamaño del efecto pueden variar (y lo harán) entre los estudios, pero si hay una disminución sistemática del tamaño del efecto al aumentar el tamaño del estudio que sugiere que hay un sesgo. La cuestión es que esta relación sugiere que hay pequeños estudios adicionales que muestran un tamaño del efecto bajo que no se han publicado, y si se publicaran y por lo tanto pudieran incluirse en un metanálisis, la impresión general sería que el tamaño del efecto es menor que el estimado a partir del subconjunto de estudios publicados.

La varianza de las estimaciones del tamaño del efecto entre los estudios dependerá del tamaño de la muestra, pero debería ver un número igual de estimaciones por debajo y por encima en tamaños de muestra bajos si no hubiera sesgo.