Tamaño del efecto deseado frente al tamaño del efecto esperado

Question

Cuando se estima el tamaño del efecto para determinar el tamaño de muestra óptimo para una prueba estadística, el enfoque del libro de texto parece hacerlo a partir de estudios piloto o similares. ¿Es también válido definir el tamaño del efecto como el efecto relevante más pequeño, independientemente de los efectos reales y sistemáticos que son simplemente demasiado débiles para ser interesantes?

Por ejemplo, si quiero probar una mejora en algún producto existente que aumentará su costo de producción en cierta cantidad. Sé que los clientes pagarán esto si el producto es al menos x% "mejor" (según algún criterio) que la solución existente. ¿Puedo usar el tamaño del efecto y el tamaño de muestra resultante como herramientas para suprimir resultados significativos para diferencias más pequeñas? Si no, ¿cuál sería el problema y cómo sería una solución correcta?

Answer 1

Existen muchas formas de realizar cálculos de potencia para determinar el tamaño de muestra ideal. Una de esas formas, como mencionas, es elegir un valor umbral de "A alguien le importará". Esto puede estar determinado por el conocimiento previo, la creencia de que en tu campo no se interesan particularmente hasta que un efecto sea de un tamaño específico, etc.

Mi sugerencia es en cambio observar una gama de posibles tamaños de efecto. Es trivialmente fácil, si estás realizando un cálculo de potencia, realizar varios para evaluar la sensibilidad de tu umbral. Por ejemplo, ¿estarás realmente bien con que tu estudio tenga falta de potencia si fijas tu umbral en 5% y resulta ser 4.9%? ¿O 3%? ¿O un efecto real en absoluto?

La figura a continuación, por ejemplo, pregunta (para un tamaño de muestra fijo en este caso), cuál es la potencia del estudio bajo una gama de posibles ratios Expuesto:No expuesto y tamaños de efecto. Sería igual de fácil componer un gráfico similar variando la población de estudio para comprender más ampliamente la potencia de tu estudio.

También parece que estás preguntando si puedes utilizar un tamaño de muestra pequeño para "suprimir" resultados particulares. Puedes diseñar un estudio y reconocer que las limitaciones de tamaño de muestra resultarán en falta de potencia para ciertos tamaños de efecto, pero no lo haría deliberadamente. Encontrar un efecto nulo o pequeño sigue siendo un hallazgo, y subestimar deliberadamente un estudio parece...erróneo. Además, el tamaño de muestra óptimo obtenido del análisis de potencia a menudo es algo optimista, casi nunca incluye datos faltantes, un análisis de subgrupo interesante u otros problemas que requerirán una muestra más grande. Establecer una línea dura es una mala idea.

Answer 2

@EpiGrad hace algunos puntos interesantes aquí. Pensé que podría agregar un poco de información adicional. Él menciona que los análisis de potencia suelen ser optimistas, y mencionas que a menudo se sugiere estimar el tamaño del efecto que deseas capturar a partir de un análisis piloto. Solo quiero hacer explícito que este procedimiento se sabe que está sesgado de tal manera que la potencia estimada será mayor que la potencia real. Existe una considerable incertidumbre en el tamaño del efecto estimado basado en un estudio piloto, o incluso en un estudio completo. Si el tamaño del efecto real es más grande que la estimación, tendrás más potencia, y si es más pequeño, tendrás menos potencia de lo que crees. Sin embargo, la tasa de cambio en la potencia no es la misma en ambas direcciones. Específicamente, la potencia disminuye más rápido a medida que el tamaño del efecto se reduce que como aumenta a medida que el tamaño del efecto se expande. De esta manera, aunque la distribución de tamaños de efecto es simétrica, la distribución de la potencia no lo es. Para calcular una estimación más robusta de la potencia, calcula la distribución completa del tamaño del efecto e intégrala. (Un enfoque rápido y sucio es calcular un IC del 95% para el ES y obtener un promedio ponderado de la potencia en tu estimación y en los puntos finales del IC.)