¿La ponderación basada en la precisión (es decir, en la varianza inversa) forma parte del metaanálisis?

Question

¿La ponderación basada en la precisión es fundamental para el metaanálisis? Borenstein et al. (2009) escriben que para que el meta-análisis sea posible lo único necesario es que:

1. Los estudios informan de una estimación puntual que puede expresarse como una sola cifra.
2. La varianza puede calcularse para esa estimación puntual.

No me queda claro por qué (2) es estrictamente necesario. Pero, de hecho, todos los métodos de meta-análisis ampliamente aceptados se basan en esquemas de ponderación basados en la precisión (es decir, la varianza inversa), que requieren una estimación de la varianza para el tamaño del efecto de cada estudio. Obsérvese que, aunque el método de Hedges (Hedges y Olkin, 1985; Hedges y Vevea, 1998) y el método de Hunter y Schmidt (Hunter y Schmidt, 2004) utilizan básicamente la ponderación del tamaño de la muestra, estos métodos sólo se aplican a las diferencias medias normalizadas, por lo que requieren una desviación estándar en otro lugar. Tiene sentido que las ponderaciones inversamente proporcionales a la varianza de cada estudio minimicen la varianza en el estimador global del tamaño del efecto, así que ¿es este esquema de ponderación una característica necesaria de todos los métodos?

¿Es posible realizar una revisión sistemática sin tener acceso a la varianza de cada tamaño del efecto y seguir llamando al resultado un meta-análisis? El tamaño de la muestra parecería tener potencial como un proxy para la precisión cuando la varianza no está disponible. ¿Se podría, por ejemplo, utilizar la ponderación del tamaño de la muestra en un estudio en el que el tamaño del efecto se definiera como diferencia media bruta? ¿Cómo afectaría eso a la consistencia y eficiencia del tamaño del efecto medio resultante?

Answer 1

La pregunta es difícil de responder, porque es muy indicativa de una confusión general y un estado de cosas confuso en gran parte de la literatura meta-analítica (el OP no tiene la culpa aquí - es la literatura y la descripción de los métodos, modelos y supuestos que a menudo es un desastre).

Pero para abreviar: no, si se quiere combinar un grupo de estimaciones (que cuantifican algún tipo de efecto, un grado de asociación o algún otro resultado que se considere relevante) y es sensato combinar esas cifras, entonces se puede tomar simplemente su media (no ponderada) y eso estaría perfectamente bien. No hay nada malo en ello y, según los modelos que solemos asumir cuando realizamos un meta-análisis, esto nos da incluso una estimación insesgada (suponiendo que las propias estimaciones sean insesgadas). Así que, no, no se necesitan las varianzas de muestreo para combinar las estimaciones.

Entonces, ¿por qué la ponderación de la varianza inversa es casi sinónimo de hacer un metaanálisis? Esto tiene que ver con la idea general de que concedemos más credibilidad a los estudios grandes (con varianzas de muestreo más pequeñas) que a los estudios más pequeños (con varianzas de muestreo más grandes). De hecho, bajo los supuestos de los modelos habituales, el uso de la ponderación de la varianza inversa conduce a la estimador insesgado de varianza mínima uniforme (UMVUE) -- bueno, más o menos, de nuevo asumiendo estimaciones insesgadas e ignorando el hecho de que las varianzas de muestreo a menudo no se conocen exactamente, sino que se estiman por sí mismas y en los modelos de efectos aleatorios, también debemos estimar el componente de la varianza para la heterogeneidad, pero entonces simplemente lo tratamos como una constante conocida, lo que tampoco es del todo correcto ... pero sí, más o menos obtenemos el UMVUE si utilizamos la ponderación de la varianza inversa si simplemente entrecerramos los ojos muy fuerte e ignoramos algunas de estas cuestiones.

Por tanto, lo que está en juego es la eficiencia del estimador, no la insesgadez en sí. Pero incluso una media no ponderada no será a menudo mucho menos eficiente que el uso de una media ponderada de la varianza inversa, especialmente en los modelos de efectos aleatorios y cuando la cantidad de heterogeneidad es grande (¡en cuyo caso el esquema de ponderación habitual conduce a pesos casi uniformes de todos modos!) Pero incluso en los modelos de efectos fijos o con poca heterogeneidad, la diferencia no suele ser abrumadora.

Y como mencionas, también se pueden considerar fácilmente otros esquemas de ponderación, como la ponderación por el tamaño de la muestra o alguna función de la misma, pero de nuevo esto es sólo un intento de conseguir algo parecido a las ponderaciones de la varianza inversa (ya que las varianzas muestrales están, en gran medida, determinadas por el tamaño de la muestra de un estudio).

Pero, en realidad, se puede y se debe "desvincular" el tema de los pesos y las desviaciones por completo. En realidad son dos piezas separadas en las que hay que pensar. Pero no es así como se presentan normalmente las cosas en la literatura.

Sin embargo, la cuestión es que hay que pensar en ambas cosas. Sí, se puede tomar una media no ponderada como estimación combinada y eso sería, en esencia, un meta-análisis, pero una vez que se quiere empezar a hacer inferencias basadas en esa estimación combinada (por ejemplo, realizar una prueba de hipótesis, construir un intervalo de confianza), se necesita conocer las varianzas de muestreo (y la cantidad de heterogeneidad). Piénselo de esta manera: Si combina un grupo de estudios pequeños (y/o muy heterogéneos), su estimación puntual será mucho menos precisa que si combina el mismo número de estudios muy grandes (y/o homogéneos), independientemente de cómo haya ponderado sus estimaciones al calcular el valor combinado.

En realidad, hay incluso algunas formas de evitar el desconocimiento de las varianzas muestrales (y la cantidad de heterogeneidad) cuando empezamos a hacer estadística inferencial. Se pueden considerar métodos basados en remuestreo (por ejemplo, bootstrapping, pruebas de permutación) o métodos que producen errores estándar consistentes para la estimación combinada aunque especifiquemos mal algunas partes del modelo, pero hay que evaluar cuidadosamente la eficacia de estos enfoques en cada caso.

Answer 2

Si conoces algunos de los errores estándar pero no todos, aquí tienes una solución:

(1) suponer que el SE desconocido se extrae aleatoriamente de la misma distribución que los SE conocidos o dejar que la distribución del SE de las estimaciones de los trabajos con SE desconocido sea una variable libre. Si se quiere ser elegante, se puede utilizar el promedio del modelo sobre estas opciones.

(2) estimación por máxima verosimilitud

Si su estudio con SE desconocido es un "valor atípico", el modelo explicará la anomalía de una combinación de estas formas:

(a) el estudio probablemente tenía un SE alto para su estimación (el estudio probablemente tiene poca potencia)

(b) es probable que el estudio tenga un gran componente de efecto aleatorio (el investigador eligió un conjunto de datos o un método, etc., que da un resultado atípico)

En efecto, este modelo reducirá la precisión efectiva de la estimación con SE desconocido a medida que sea más anómala. En este sentido, es muy resistente a la inclusión de "valores atípicos". Al mismo tiempo, si se añaden muchos estudios con varianza desconocida pero con resultados que son típicos, el SE o la estimación final disminuirá.