¿Qué prueba utilizar para comparar los cambios en el código fuente de un ordenador?

Question

No estoy seguro de qué prueba debo utilizar para analizar mis datos. La situación es la siguiente:

Tengo dos programas informáticos que hacen exactamente lo mismo. Ambos comparten una gran cantidad de código fuente, pero algunas partes se desarrollaron con tecnologías diferentes. Quiero probar el efecto de las diferentes tecnologías. He realizado los mismos cambios en ambos programas y he medido algunas propiedades del código fuente después de cada cambio. Los cambios se realizaron en cadena. Realicé el cambio 2 sobre el resultado de realizar el cambio 1 en la versión inicial, y así sucesivamente.

Ahora, con la ayuda de las propiedades medidas después de cada cambio, quiero probar si el programa que se escribió con la tecnología A fue más fácil de cambiar que el programa escrito con la tecnología B.

¿Qué prueba estadística cree que es la mejor opción? He pensado en la prueba T de Student para muestras emparejadas o la prueba de rangos con signo de Wilcoxon. Pero no estoy seguro de que estas pruebas sean aplicables a esta situación.

Answer 1

Superficialmente, la prueba t de Student para muestras emparejadas sería una buena elección, si se cumple el supuesto de normalidad para la distribución de las mediciones del código fuente. Si no es así, la prueba de rango con signo de Wilcoxon sería un buen paso siguiente. Sin embargo, hay un supuesto más sutil de ambas pruebas que probablemente se viole aquí: que las observaciones son independientes entre sí. En otras palabras, las propiedades del código fuente después del cambio 1 son independientes de las propiedades del código fuente después del cambio 2. Nunca he medido las propiedades del código fuente antes, pero esto parece poco probable para mí.

Una forma de mejorar la situación sería observar el cambio en las propiedades del código fuente de un paso al siguiente. Esto eliminaría cualquier diferencia de "línea de base" que cause correlaciones, pero seguiría sin ayudar si, por ejemplo, una mejora en el paso 2 hace que los cambios después de los pasos 3 y 4 sean mayores.

Tratar directamente la autocorrelación de las observaciones nos lleva al terreno de los modelos mixtos o quizá al análisis de series temporales: ya no se trata de un simple estadístico de prueba.

Answer 2

Depende. La prueba adecuada dependerá de la naturaleza del valor que se esté midiendo. ¿Cuál es el resultado de la medición? ¿Es un número real? ¿Un número entero? ¿Un booleano? Además, la elección de la prueba estadística dependerá de la distribución de estas mediciones. ¿Hay alguna razón para esperar que estas mediciones tengan una distribución aproximadamente normal? Al trazar la distribución de las mediciones, ¿parecen estar distribuidas normalmente?

En general: Yo utilizaría el rango con signo de Wilcoxon como la opción por defecto para su situación. No presupone normalidad. Si usted sabe que sus medidas son normales, entonces usted podría utilizar la prueba t de Student para muestras pareadas.

Sin embargo: Dicho esto, parece que atiretoo ha diagnosticado correctamente algunos aspectos en los que estas pruebas son inadecuadas para su situación. Por lo tanto, la respuesta correcta probablemente sea que no deberías utilizar ninguna de estas pruebas y que deberías volver a la mesa de dibujo y replantearte el diseño experimental.