¿Cómo puedo determinar si hay ' s una diferencia estadísticamente significativa entre dos medias?

Question

Estoy escribiendo un programa de referencia en C# y Java como una primera tarea para una clase de CS. Que se supone que para escribir algún tipo de informe sobre nuestros métodos y resultados desde el punto de referencia, y me gustaría añadir un componente estadístico a la mía.

Tengo 15 muestras de tiempo de ejecución de cada lengua y la desviación media y estándar de cada uno. ¿Cómo puedo determinar si existe una diferencia estadísticamente significativa entre ellos?

Answer 1

Si su tiempo de ejecución de las muestras para cada idioma son aproximadamente una distribución normal* (que es probablemente el caso), entonces usted podría utilizar un t-test, en particular, independiente de dos prueba de t de muestras con varianzas desiguales.

Si usted tiene R instalado, usted puede hacer esto mediante la ejecución de t.test(x = c_sharp_samples, y = java_samples).

Sin embargo, si desea ejecutar la prueba con la mano, primero se calcula:

• $t = \frac{\bar{X_1} - \bar{X_2}}{s_{\bar{X_1} - \bar{X_2}}}$ donde $s_{\bar{X_1} - \bar{X_2}} = \sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}$ $\bar{X_1}$ es la media de la muestra de los ejemplos de C#, $s_1$ es la desviación estándar de la muestra de los ejemplos de C#, $n_1$ es el número de ejemplos de C#, y así sucesivamente.
• $df = \frac{(s_1^2 / n_1 + s_2^2 / n_2)^2}{(s_1^2 / n_1)^2 / (n_1 - 1) + (s_2^2 / n_2)^2 / (n_2 - 1)}$.

A continuación, $t$ (aproximadamente) sigue una t de Student de distribución con $df$ grados de libertad, por lo que la búsqueda de $t$ en la tabla correspondiente (o utilizando t de la distribución de la calculadora).

*Incluso si el tiempo de ejecución de las muestras para cada idioma que no están normalmente distribuidos, 15 muestras es, probablemente, suficiente para una aproximación normal (es decir, el CLT) a patadas, así que debe estar bien. Pero si quieres ser formal y no quiero hacer de esto normal de la asunción, se podría utilizar el (no paramétrica) de la u de Mann Whitney en su lugar.

Answer 2

Suena como lo que quieres es usar un t-test (aquí está la página de la wikipedia).

Si usted no suponga que sus observaciones se distribuyen normalmente, a continuación, intente esto, la prueba de Mann-Whitney, (pero que no puede ser calculada a partir de media/sd solamente).

Asegúrese de que sus observaciones son independientes, por lo que la validez de la prueba de t se conserva.

Buena suerte, y leer más acerca de esto antes de hacer las cosas!

Answer 3

Una prueba de permutación es otra posibilidad, aunque creo que el problema de que describir las alternativas que se han mencionado será superiores.