Prueba estadística de hipótesis para la precisión de la clasificación

Question

Sólo quiero asegurarme de que estoy haciendo las cosas bien.

He creado 2 algoritmos que clasifican mis datos en 2 grupos. El primero me da una precisión del 76,66% (sensibilidad=0,76, especificidad=0,78). El segundo: precisión 81,33% (sensibilidad=0,86, especificidad=0,76)

Así que quería saber si esta mejora es "estadísticamente significativa". Utilicé Prueba de McNemar (prueba estadística utilizada con datos nominales pareados. Se aplica a tablas de contingencia 2 × 2).

¿Es una "buena" forma de proceder? En caso negativo, ¿qué prueba debería elegir?

Answer 1

@GreggH ¿por qué mesa 2x2x2? ¿Puedo usar sólo 2x2?

Por ejemplo, utilizando R: algo1<-c(rep('false',20),rep('true',50)) algo2<-c(rep('false',10),rep('true',60)) table(algo1,algo2) #the contingency table algo2 algo1 false true false 10 10 true 0 50 mcnemar.test(table(algo1,algo2))

Resultado:

McNemar's Chi-squared test with continuity correction data: table(algo1, algo2) McNemar's chi-squared = 8.1, df = 1, p-value = 0.004427

Además la prueba de McNemar sólo funciona con tablas de contingencia 2x2 (si no me equivoco) aquí