¿Cómo informar de la relación entre dos conjuntos de resultados experimentales?

Question

He medido el tiempo necesario para resolver un problema mediante el algoritmo de $X$ y por el algoritmo de $Y$. Toma bastante tiempo, así que sólo tengo 10 datos para cada algoritmo: $$ X : ( x_1, x_2, \dots , x_{10}) \\ Y : ( y_1, y_2, \dots , y_{10}) $$

EDIT:

The problem they are solving is randomized. I generated 10 instances of the problem using 10 different random seeds. The 10 computational times correspond to these 10 problem instances. In this sense, the data are paired.

The change of a seed does not change the difficulty of the problem very much.

END OF EDIT

I have computed the ratio of the averages:

$$ avg = \frac{\sum_{k=1}^{10} x_k }{\sum_{k=1}^{10} y_k } $$

Esto, sin embargo, no transmite ninguna información sobre la forma precisa la relación es.

Una manera posible es la estimación de la desviación estándar.

De acuerdo a esta respuesta, el promedio de variables aleatorias iid es asintóticamente normal y, por tanto, la relación ha asymptotical de Cauchy de distribución, cuya desviación estándar es infinito. Este no me satisface, sobre todo ya que tengo solo 10 datos.

Entonces, de acuerdo a esta respuesta debería aproximar la desviación estándar usando la serie de Taylor. Esta respuesta se ve mejor, pero aún no se siente bien.

La distribución de una proporción es intuitivamente muy asimétricos alrededor de 1. (sólo tiene el intervalo de $(0; 1)$ a capturar el hecho de que el algoritmo de $X$ es más rápido, pero todo el $(1 ; \infty)$ a capturar el hecho de que $Y$ es más rápido). Así que incluso un estimado de la desviación estándar puede ser de poco uso.

Sería mejor para proporcionar algún tipo de intervalo de confianza. Por ejemplo: la proporción es de 1,5 con un asimétricos intervalo de confianza de (1,3 ; 2,8). Pero no tengo idea de cómo calcular esto, pues yo no conozco la distribución de mis datos.

EDIT2:

Aquí están mis datos:

X       Y
111536  160134
111165  164850
112494  165844
115959  166409
121296  161755
119948  167781
119172  168666
117330  169766
116661  166518
129311  169884

EDIT3:

Para responder a la pregunta (en los comentarios) de D L Dahly

¿por qué no acaba de informar de que un algoritmo es más rápido en todas las instancias

Por la brevedad de la pregunta que no he mencionado que en realidad he 84 conjuntos de datos que se describen en esta pregunta. 2 problemas x 6 dimensiones del problema x 7 tamaños posibles del problema. En algunos casos, X es más rápido, en algunos Y es más rápido y en algunos casos los resultados no son concluyentes.

Yo no necesariamente tienen intervalos de confianza o desviaciones estándar. Sólo quiero ofrecer al lector algo más rica que la de los promedios. El lector debe tener un sentido de cómo se representa el promedio de los resultados experimentales.

Answer 1

¿Por qué no la expansión de Taylor mira a la derecha?

Si quieres un simétrica de la estadística, se puede tratar de buscar en la diferencia que en vez de $\bar{x}-\bar{y}$, es bastante fácil de trabajar fuera de la varianza de la $\bar{x}-\bar{y}$ con cualquier distribución (no normal) por $X, Y$, siempre que la varianza de existir (el uniforme??). Esta diferencia debe ser simétrica alrededor de 0. Y usted puede utilizar la prueba t para hacer la prueba.

De vuelta a la relación, si realmente se quiere meter a la relación, puede utilizar la prueba de permutación para trabajar por fuera del intervalo de estimación. En R, se vería algo como:

N=10
x=runif(N,1,3)  # your data x
y=runif(N,10,30)   # your data y
ratio=mean(x)/mean(y)
NP=100
stat=rep(NA,NP)
for(i in 1:NP){
  id<-sample.int(2*N,size=N,replace=F)
  stat[i]=mean(c(x,y)[id])/mean(c(x,y)[-id])
}
CI=quantile(stat,c(0.025,0.975))
print(CI);print(ratio)
(ratio<CI[2])&(ratio>CI[1])

Answer 2

Me symmetrize el problema y reconocer la coincidencia de trabajar con los registros de las relaciones individuales, decir $z_i = \ln(x_i/y_i)$, que los límites de una $100(1-\alpha)$% intervalo de confianza para la media de $z$ la forma habitual como $\bar{z} \pm t_{9,1-\alpha/2}\,s_z/\sqrt{10}$. (Sé que no no terminantemente es justificado, pero con eso pequeños $n$ prefiero al bootstrap).

Answer 3

Te planteas una cuestión muy interesante. El problema clave es, como usted afirma, que el teórico de la distribución de las $X$ $Y$ es desconocido. Si era conocido, sin embargo, podría ser posible obtener la varianza de la relación y por lo tanto encontrar una muestra de la estimación del error estándar.

Supongamos por un momento que ambas variables aleatorias siguen una distribución conocida. Como se señaló, la distribución normal es una posibilidad, por lo que siguiendo el límite central de la teoría de la proporción es de Cauchy distribuido. Yo también creo que los tiempos de respuesta para resolver las tareas a veces son modelados por distribuciones exponenciales. Por lo tanto, uno podría asumir también la r.v. $X$ $Y$ están exponencialmente distribuidos y su suma es hypoexponential.

De manera más general, la relación de $sum(X)$ $sum(Y)$ es la proporción distribuido. Es un problema conocido con la relación de las distribuciones, por desgracia, que a menudo ni tiene una expectativa (media), ni de la varianza. Por lo tanto, el s.e. de la media, a menudo no existe. Este es también el caso de la distribución de Cauchy y de la relación de dos exponencial de las variables, como lo es para otros la relación de las distribuciones.

Afortunadamente, también hay relaciones de distribuciones que tienen bien definidas las medias y varianzas. En la siguiente, voy a suponer que la población de la relación existe y construir un ejemplo basado en esta suposición.

En este caso, todavía no se conoce la distribución de su r.v. en la práctica. Una opción para llegar a la s.e. de la media, a continuación, es por no paramétrico de bootstrap, que voy a demostrar con el ejemplo.

Supongamos $X$ $Y$ siguen una escala de distribución de la chi cuadrado con 1 y 5 grados de libertad, respectivamente. A continuación, la relación de $sum(X)/sum(Y)$ es F-distribución con la n*1 5*n grados de libertad, donde n es el número de sumarse r.v.. En la práctica n es el tamaño de la muestra.

n=10^3
df1=1
df2=5
X<-rchisq(n,df=df1)/(df1) #Scaled Chi-square distribution with df=df1
Y<-rchisq(n,df=df2)/(df2) #Scaled Chi-square distribution with df=df2
ratio<-sum(X)/sum(Y) # F-distributed with df1*n and df2*n degrees of freedom

Usted puede verificar que la media de la distribución F se conoce.

ratio #sample mean of ratio
df2*n/(df2*n-2) #theoretical mean of ratio (mean of F-distribution with df1 and df2)

Ahora supongamos que tenemos un pequeño $n=10$ tamaño de la muestra de la misma distribución.

n=10
df1=1
df2=5
X<-rchisq(n,df=df1)/(df1) #Scaled Chi-square distribution with df=df1
Y<-rchisq(n,df=df2)/(df2) #Scaled Chi-square distribution with df=df2
ratio_sample<-sum(X)/sum(Y) # F-distributed
df2*n/(df2*n-2) #theoretical mean of ratio (mean of F-distribution with df1 and df2)

El procedimiento de arranque muestras con reemplazo de los datos. Voy a sacar 10.000 muestras de tamaño 10, respectivamente. Yo estimo que la proporción media, la varianza y la s.d. de la distribución bootstrap. La última ofrece la seg.e..

boot=10^4
data<-data.frame(X,Y)
bootsamples<-numeric()
for(i in 1:boot){
  temp <- data[sample(n,n,replace=T),]
  bootsamples[i]<-sum(temp$X)/sum(temp$Y)
  }
ratio_var<-var(bootsamples)
ratio_se<-sqrt(ratio_var)
ratio_mean<-mean(bootsamples)

Para resumir los resultados se puede considerar que la clásica intervalo de confianza basado en la normal de la teoría, pero esto no es inmediato es aconsejable, debido al pequeño tamaño de la muestra.

c(ratio_mean-1.965*ratio_se,ratio_mean+1.965*ratio_se) #Classical 95% CI based on asymptotics

Alternativamente, usted puede considerar el 2.5 y 97.5 bootstrap percentil de la distribución de los ratios.

quantile(bootsamples,probs=c(.025,.975)) #Bootstrapped 95% CI

Usted puede comprobar de nuevo que el intervalo de confianza bootstrap cubre la verdadera media.

df2*n/(df2*n-2) #True mean

De nuevo, debo destacar que el bootstrap sólo funcionará, si la expectativa de la relación y su varianza de existir, lo cual no es cierto para los coeficientes. En ese caso, el s.e. de su relación $avg$ no existe y el problema no podía ser resuelto.

Answer 4

Dado que tiene tan pocos puntos, apenas tiene sentido utilizar todas esas hipótesis estadísticas... por qué no solo informe las estadísticas estándar: significa x_i/y_i, x_i/y_i mediana, percentil etcetera.