¿Cómo comparo la repetibilidad de dos conjuntos de experimentos con un número bajo de muestras?

Question

Estoy invirtiendo en la repetibilidad de un proceso experimental (en realidad midiendo la elevación en un túnel de viento), que puede ser medido usando un solo número, Q. Sin embargo, sólo tengo acceso limitado al túnel, por lo que el número de experimentos que puedo realizar está restringido.

Si tengo 5 experimentos con el túnel en una configuración: Q1 = [1.18, -0.41, -0.66, 0.98, 0.1] y cinco en otra: Q2 = [-0.36 -0.73 -1.47 0.15 -0.31]

Es decir, la desviación estándar de los datos de la primera configuración es de 0,81 y de la segunda de 0,60, pero estos valores cambiarán claramente si hago experimentos adicionales. ¿Puedo de alguna manera calcular la desviación estándar de la desviación estándar?

Cualquier consejo sobre cómo podría calcular esto sería apreciado y más generalmente cómo puedo determinar cuando tengo suficientes experimentos para decir algo como que estoy 95% seguro que la configuración 2 tiene mejor repetibilidad que la configuración 1.

Answer 1

Busca la prueba F de dos muestras para varianzas. Con tamaños de muestra iguales Q, esta prueba calcula el cociente de las dos varianzas y, a continuación, compara el valor con la distribución F con (Q-1, Q-1) grados de libertad. Uno de los principales supuestos es la normalidad, pero eso podría estar bien para un error de medición aleatorio como éste. Sin embargo, con sus valores, la diferencia no es estadísticamente significativa (p=0,29). En general, el error típico de la desviación típica es grande a menos que se disponga de muchas muestras, por lo que resulta difícil detectar diferencias en la variabilidad (repetibilidad).

Answer 2

Si desea un enfoque no paramétrico que no asuma la normalidad, podría obtener distribuciones de SD para cada configuración utilizando bootstrapping, y luego comparar estas distribuciones. Comentarios debajo de la respuesta a esta pregunta sugieren que los intervalos de confianza no superpuestos del 84% indicarían una diferencia en las DE a un alfa de 0,05. Alternativamente, en cada iteración del bootstrap se podría encontrar la diferencia entre las dos pseudoestimaciones de la DE y luego comparar la distribución de esta diferencia con cero. A continuación se muestra el código R que logra ambos enfoques; ambos sugieren que no se ha observado una diferencia que deba considerarse real.

a = c(1.18, -0.41, -0.66, 0.98, 0.1)
b = c(-0.36, -0.73, -1.47, 0.15, -0.31)
library(plyr)
iterations = 1e4
sds = ldply(
    .data = 1:iterations
    , .fun = function(x){
        a_sd = sd(sample(a,replace=T))
        b_sd = sd(sample(b,replace=T))
        to_return = data.frame(
            a_sd = a_sd
            , b_sd = b_sd
            , diff = a_sd - b_sd
        )
        return(to_return)
    }
    , .progress = 'text'
)

quantile(sds$a_sd,c(.08,.92))
    quantile(sds$b_sd,c(.08,.92))
#substantial overlap

quantile(sds$diff,c(.025,.975))
#includes zero

Answer 3

No estoy seguro de si un procedimiento de permutación (no paramétrico) de este tipo podría aplicarse en este caso. En cualquier caso, ésta es mi idea:

a <- c(1.18, -0.41, -0.66, 0.98, 0.1)
b <- c(-0.36, -0.73, -1.47, 0.15, -0.31)
total <- c(a,b)
first <- combn(total,length(a))
second <- apply(first,2,function(z) total[is.na(pmatch(total,z))])
var.ratio <- apply(first,2,var) / apply(second,2,var)
# the first element of var.ratio is the one that I'm interested in
(p.value <- length(var.ratio[var.ratio >= var.ratio[1]]) / length(var.ratio))
[1] 0.3055556