Prueba estadística correcta para comparar dos resultados de diferentes algoritmos ejecutados en el mismo conjunto de datos

Question

Así que tengo un algoritmo $A$ y un algoritmo $B$ que se ejecuta en un conjunto de $n$ documentos. Los documentos son formularios financieros que consisten en datos que el algoritmo $A$ / $B$ extractos. Para cada uno de los $n$ documentos, algoritmo $A$ / $B$ y luego se prueban estas extracciones, lo que da como resultado una precisión medida en %, es decir $0 \leq Accuracy(Extraction_i) \leq 100$ donde $1 \leq i \leq n$ . El resultado son dos matrices/vectores de precisión, $Vec_A$ y $Vec_B$ .

Digamos que la precisión media del algoritmo $A$ es $x$ % más alto que para $B$ . ¿Qué prueba estadística utilizaría para poder afirmar que, con un 95% de confianza, el algoritmo $A$ tiene un mejor rendimiento que $B$ para el conjunto de datos elegido? (Se utiliza el mismo conjunto de datos para ambos algoritmos).

Agradezco cualquier indicación, hace tiempo que no hago un curso de estadística.

Answer 1

Depende de la distribución. Si está lo suficientemente cerca de la distribución normal, se puede hacer una prueba t pareada , de lo contrario, a Prueba de Wilcoxon podría ser más apropiado. (Estoy asumiendo que ambos algoritmos trabajaron en el mismo conjunto de documentos y que los datos están emparejados).

---

Editar:

Para evaluar la normalidad se puede utilizar Prueba de Shapiro-Wilk . Sin embargo, si el tamaño de la muestra $n$ es grande ( $n > 30$ ) también debe buscar un Gráfico Q-Q para ver si la desviación de la normalidad es pequeña.