Tengo pruebas realizadas examinando la actividad cerebral en 12 regiones diferentes del cerebro. Es un diseño entre sujetos donde hay un grupo de tratamiento (N = 8) y un grupo de control (N = 14). Cada participante tuvo estas exploraciones en las 12 regiones cerebrales diferentes. Cada efecto para las 12 regiones cerebrales mostró que el grupo de tratamiento tenía una actividad cerebral más alta que el grupo de control. Sin embargo, el problema es que, debido al tamaño de muestra bajo, solo 2 de estos efectos fueron significativos con los otros valores de p en algún lugar entre .05 y .20. A partir de esto, ¿hay algún análisis estadístico que pueda hacer para poder decir que en general la actividad cerebral era mayor en el grupo de tratamiento en comparación con el de control? Intenté tomar un promedio de la actividad entre las 12 regiones cerebrales para cada individuo y analizar eso, pero el tamaño de muestra seguía siendo N = 8 y N = 14, por lo que no fue significativo. ¿Sería posible combinar todos los datos y realizar una prueba t en eso, haciendo que N = 8*12 = 96 para el grupo de tratamiento y N = 14*12 = 168 para el de control?
Respuestas
¿Demasiados anuncios?
Parece haber al menos dos dificultades importantes:
(1) Tamaños de muestra pequeños. Dado que podía permitirse ver a 22 sujetos, un diseño (ligeramente) más eficiente habría sido tener 11 en cada grupo. Pero puede que sea más fácil inscribir a sujetos de Control que a sujetos de Tratamiento.
(2) Falta de independencia. No está claro si los resultados de varias regiones del cerebro son independientes. Si las pruebas en las 12 regiones fueran independientes, entonces tener las 12 yendo en la misma dirección sería convincente. Sin independencia, la sugerencia exacta en su última oración parece descartada.
Algunas sugerencias:
Aunque el nivel significativo del 5% puede ser crucial para los editores de revistas, ese es un criterio arbitrario. Puede valer la pena hacer investigaciones adicionales cuando los valores de P estén alrededor del 10%.
No menciona nada sobre mirar las correlaciones de resultados entre las regiones cerebrales. Puede ser útil hacerlo. Si los resultados en algunas regiones cerebrales podrían, de hecho, utilizarse para predecir resultados en otras regiones, entonces (a) eso puede ser información importante en sí misma, o (b) tal vez centrarse en regiones que proporcionan información independiente útil permitirá mirar menos regiones y, en el largo plazo, hacer que tamaños de muestra más grandes sean factibles.
Tiene dos categorías de sujetos, Tratamiento y Control. Podría intentar un análisis discriminante usando las 12 regiones para ver qué tan efectivamente sus datos separan los dos grupos. Además, podría intentar algún tipo de análisis discriminante o de agrupación para ver si los datos identifican 'grupos' de pacientes conocidos o sugieren otros inesperados en 12 dimensiones. Quizás alguien más en este sitio podría ofrecer una opinión sobre si 22 sujetos son suficientes para que enfoques de este tipo valgan la pena.
Notas: Quizás, el ejemplo más conocido de análisis discriminante es el Fisher's introductorio. Para 50 ejemplares de cada una de tres variedades de flores de lirio, se hicieron cuatro mediciones: longitudes y anchuras de sépalo y pétalo. Su análisis mostró que es posible clasificar casi todos los 150 ejemplares según la variedad basándose solo en estas mediciones.
¿Puede clasificar a sus sujetos como Tratamiento y Control usando sus 12 medidas? La clasificación distinta es más difícil que simplemente detectar una diferencia en las medias del grupo. Además, ¿hay subcategorías obvias dentro de los grupos de Tratamiento y/o Control que podrían valer la pena investigar?
Por otro lado, el análisis de grupos busca grupos distintos (quizás no anticipados previamente) basados en datos.
Debido a que tus pruebas no son independientes, necesitas aplicar corrección de Bonferroni (si aún no lo has hecho).
No tener efectos "significativos" con una muestra tan pequeña me parece correcto. Simplemente obtienes muchas falsas alarmas en tales casos. No interpretes un valor p demasiado grande como un "experimento mal ejecutado". Estos valores son un seguro para ti para indicar observaciones que bien podrían ser aleatorias.
Observaciones recientes en medicina (por ejemplo, por qué la mayoría de los hallazgos de investigación publicados son falsos) indican que incluso un valor p "significativo" debe servir solo como un estímulo para volver a realizar el experimento a mayor escala, desafortunadamente.
¡No alteres tus valores p para que sean "significativos"!
Por lo tanto, al final, tal vez la conclusión correcta sea que observaste mayor actividad cerebral, pero no puedes descartar que haya sido por casualidad debido a la poca cantidad de pacientes. Probablemente haya un 10% de posibilidades de observar dicho efecto por casualidad, y no puedes reducirlo solamente a un 5%.
