Interpretación de las diferencias significativas cuando se añaden datos adicionales

Question

Tengo dos preguntas sobre la interpretación del análisis estadístico de los datos recogidos en las series de producción de un material experimental. Hicimos cuatro series de producción, con algunos cambios en cada serie. Cada corrida produjo tres piezas de material, y cada pieza de material fue probada en múltiples lugares para medir la propiedad de interés. Por lo tanto, los resultados de la medición se ven así:

Run 1 Piece A -- 25 measurements;
Run 1 Piece B -- 25 measurements;
Run 1 Piece C -- 25 measurements;

Run 2 Pieces A, B, and C -- 25 measurements on each

Run 3 Pieces A, B, and C -- 25 measurements on each

Para determinar si existía una variación significativa entre las series de producción, realicé la prueba de Duncan utilizando tres grupos de tres réplicas, tomando las mediciones medias de una pieza como una "réplica" (es decir, el valor del grupo "Serie 1" y la réplica "Pieza A" era la media de las 25 mediciones). Por tanto, el primera pregunta es: ¿es válido tomar la media de las medidas de una pieza y llamarla una réplica? Podría decir que tengo 9 grupos con 25 réplicas cada uno, pero mi objetivo es comparar lotes y no piezas independientemente.

La prueba de Duncan mostró que la serie 2 era significativamente diferente de las otras dos series. Para complicar las cosas, hicimos una cuarta prueba:

Run 4 Piece A -- 9 measurements;
Run 4 Piece B -- 9 measurements;
Run 4 Piece C -- 9 measurements.

El cuarto grupo tenía medias y desviaciones típicas muy superiores a las de los demás. Cuando repito la prueba de Duncan añadiendo este cuarto grupo de datos, la prueba muestra que el cuarto grupo es significativamente diferente de los otros tres, pero los otros tres ya no son diferentes entre sí.

Por lo tanto, me enfrento a la interpretación de la diferencia significativa. Con sólo tres ejecuciones, la ejecución 2 era significativamente diferente de las ejecuciones 1 y 3. Después de hacer la cuarta prueba, la Prueba 2 ya no era diferente de las Pruebas 1 y 3, sólo diferente de la Prueba 4. Entiendo matemáticamente lo que ocurrió: que los resultados de la Prueba 4 eran tan diferentes que empujaron las tres primeras pruebas juntas. Pero ¿cuál es la interpretación práctica ( segunda pregunta )? ¿Es la ejecución 2 realmente diferente de las ejecuciones 1 y 3?

Agradeceré cualquier opinión sobre este problema.

Answer 1

Esto señala, de nuevo, uno de los muchos problemas de las pruebas de significación.

Yo diría que la forma de interpretar los resultados es concentrarse en las medidas del tamaño del efecto. Éstas no cambian cuando se añade un cuarto grupo, como se ha descrito.