Estoy mirando los datos de los experimentos que se han realizado para buscar una diferencia entre las proporciones, de 1 cola.
En muchos de ellos se ha comprobado que existe una diferencia significativa entre las dos proporciones (por ejemplo, tamaño del efecto del 3%, p<0,05)
Sin embargo, he realizado un análisis de potencia post-hoc, introduciendo el tamaño del efecto (tal y como se observó), la potencia deseada (0,8), la significación (0,05), y sugiere que se necesita un tamaño de muestra notablemente mayor (por ejemplo, 3 veces mayor) que el utilizado para realizar la prueba a este nivel de potencia / significación.
El problema que tengo es interpretar esto. Si el análisis de potencia se hubiera hecho antes y hubiéramos introducido por casualidad el tamaño real del efecto resultante, el tamaño de la muestra requerido se habría mostrado como este N más grande, así que al encontrar significación con un N más bajo, ¿cómo debo interpretar el resultado? ¿Cuánta confianza se pierde (si es que se pierde alguna)?
Como apunte: sé que se desaconseja hacer análisis de potencia post-hoc con el tamaño del efecto observado, pero sólo estoy tratando de validar la calidad de la prueba y la confianza que puedo tener en la significación que se encontró... como se ha descrito anteriormente, hipotéticamente el mismo análisis de potencia podría haberse hecho de forma idéntica de antemano y habría sugerido esta N más alta que finalmente no se alcanzó.
Sólo que no sé qué implicaciones tiene esto para el tamaño del efecto y la p<0,05 que se encuentra entonces en los datos cuando el tamaño de la muestra < N requerido.
0 votos
¿Qué estimaciones de varianza ha aportado a los cálculos de potencia?
0 votos
Para ser sinceros, no se ha introducido ninguna varianza en el cálculo de la potencia, ya que se trata de una herramienta en línea personalizada que se nos ha proporcionado para realizar estos experimentos. Las entradas fueron la tasa de proporción de control esperada (predicha a partir de experimentos anteriores), el tamaño mínimo del efecto, los niveles de potencia y significación, y la elección de 1 o 2 colas. A partir de esto se propuso un tamaño de muestra...
0 votos
La proporción esperada determina la varianza. ¿Fue esa proporción muy diferente de la realmente observada en la muestra?
0 votos
Así, por ejemplo, en un experimento: Proporción del grupo de control: 23,30%, tamaño del efecto observado: 7,88% (proporción del grupo de tratamiento: 25,13%). Para los objetivos del 80% de potencia/95% de significación, el tamaño de muestra recomendado era de ~6600 por grupo. Mientras que en realidad sólo teníamos 1948. Esto parecía una brecha muy grande, de ahí mi preocupación y reflexión sobre la implicación de la fiabilidad de la prueba tal y como se llevó a cabo y el "resultado significativo" encontrado.
0 votos
El tamaño de esa diferencia debe evaluarse en el contexto de la variabilidad de los resultados. Cualquier proporción cercana a $25\%=1/4$ tiene una varianza de $1/4(3/4)$ lo que implica que la varianza de la proporción muestral es $1/4(3/4)/1948\approx (1\%)^2$ . Por lo tanto, debido a la variabilidad del muestreo solamente, su efecto de $25.13-23.30\%=1.83\%$ podría haber sido fácilmente un porcentaje o dos más alto o más bajo. Esta diferencia apenas se distingue de la ausencia de diferencia. Suponiendo (hipotéticamente) que la estimación del tamaño del efecto sea exacta, debemos concluir que fue una cuestión de suerte que encontraras que era significativo con una muestra tan pequeña.
0 votos
No entiendo el último comentario de @whuber. Tenemos un estudio, con un conjunto de datos, y una conclusión. La brecha del 1,83% tiene ya ha sido evaluado en el contexto de la variabilidad del muestreo. Eso es lo que hace la prueba estadística, y se encontró significativa. Si quieres especular sobre los posibles resultados de otros estudios, está bien proporcionó que realmente planea hacerlos. De lo contrario, no hay que cuestionar las conclusiones ya obtenidas. Zen para estadísticos: ¡abraza el momento!
0 votos
@Russ No estoy cuestionando ninguna conclusión ni estoy negando la importancia del resultado. Estoy abordando la suposición de que la "brecha" entre 1948 y 6600 casos es grande. Tener 6600 casos aumenta el tamaño del efecto en función de la dispersión muestral por un factor de $1.84$ . Esto hace que sea probable que cuando este efecto es el correcto un estudio con 6600 casos obtendrá un resultado significativo. Esa probabilidad disminuye con 1948 casos. Si muchos investigadores intentaran realizar el mismo estudio utilizando sólo 1948 casos cada uno, demasiados de ellos quedarían decepcionados con resultados no significativos.
0 votos
Entonces @whuber ¿recomiendas entonces que este investigador realice un estudio de seguimiento con 6600 casos? ¿O con 1948 casos? Si no es ninguna de las dos cosas, ¿qué sentido tiene para este ¿Investigador? Estoy de acuerdo con tu última frase, pero son esos otros investigadores los que deben decidir el tamaño de sus estudios. Si yo les consultara, les recomendaría que utilizaran un tamaño de muestra mayor. Pero
thisEl investigador ya ha completado su estudio, y no necesita preocuparse por los diseños de los estudios de los demás.0 votos
@Russ No hago recomendaciones sólo respondía a un comentario. Estoy totalmente de acuerdo con tus conclusiones. Sin embargo, advierto que no hay que repetir la proceso que aparentemente se siguió aquí; es decir, una futuro Se realizó un estudio de potencia, pero se recogieron menos de un tercio de las muestras que recomendaba. Eso parece una receta para producir un montón de experimentos no concluyentes en el transcurso de la carrera investigadora. (También levanta sospechas de que este estudio puede haber terminado prematuramente cuando se encontró un efecto "significativo", lo que pondría en duda sus valores p).
1 votos
La cuestión que habría planteado antes, si no hubiera estado centrado en otras cuestiones, es si una diferencia del 1,83% es siquiera significativa en términos prácticos. Después de todo, el objetivo de la estadística es encontrar la verdad, dentro de un rango razonable de incertidumbre, no encontrar asteriscos. Tal vez este estudio sea más grande de lo que es necesario. De todos modos, Antony, puede que te estés cansando de todo esto, así que tal vez deberíamos trasladar esto a otro lugar si queremos seguir discutiendo.
1 votos
@whuber Sólo para aclarar, esto no era una prueba se detuvo tan pronto como se encontró la significación. El estudio de potencia se hizo después, sin embargo, para obtener una comprensión de lo cerca que el tamaño de la muestra que se había reunido era el tamaño de la muestra recomendada, dado el tamaño del efecto observado, y las implicaciones (si las hay) sobre la validez del resultado y la fuerza del nivel de significación de la prueba. Os pido disculpas a los dos (los comentarios son interesantes y se agradecen) pero todavía no estoy seguro de tenerlo totalmente claro.
1 votos
Obviamente no puedo hablar por @Russ, pero creo que estamos de acuerdo en todos los puntos importantes. El principal es que un post hoc estudio de potencia no tiene ninguna relación con sus resultados actuales. Otra es que la información de estos resultados sería útil para realizar un estudio de potencia si usted (u otros investigadores) desea realizar otro estudio (por ejemplo, una réplica independiente de éste). Una tercera es la advertencia útil y válida de prestar atención al tamaño del efecto y no perderse en la preocupación por alcanzar la significación estadística.