Comparación de dos modelos de decisión mediante la prueba de McNemar

Question

Intento comparar el rendimiento de dos algoritmos de clasificación. Gracias a CrossValidated, ya sé que la mejor forma de hacerlo es mediante la prueba de McNemar. Lo he realizado y, efectivamente, los modelos son significativamente diferentes.

Mi pregunta es: ¿significa eso que la sensibilidad, la pecificidad y la precisión de los modelos son significativamente diferentes? ¿Debo ejecutar pruebas de Mcnemar separadas para cada medida?

Seguí la diapositiva 22 de http://web.engr.oregonstate.edu/~tgd/classes/534/slides/part13.pdf para calcular mi prueba de McNemar. Al parecer, esto compara las tasas de error.

Answer 1

La diapositiva 22 es un poco confusa. Los porcentajes de error de esa diapositiva suelen describirse mejor como resultados positivos y negativos de las pruebas. Antes de hablar de falsos positivos (FP), verdaderos negativos (TN), etc. consideremos lo que es realmente la prueba. La prueba de McNemar es una prueba de diferencia de proporciones. En Entrada de Wikipedia para la prueba de McNemar relaciona la de

                 | Test 2 positive | Test 2 negative | Row total
_________________|_________________|_________________|__________
 Test 1 positive |       a         |        b        |  a + b
                 |                 |                 |
 Test 1 negative |       c         |        d        |  c + d
_________________|_________________|_________________|__________ 
 Column total    |      a + c      |       b + d     |    n

La hipótesis nula, $H_0$ , de homogeneidad marginal establece que las dos probabilidades marginales para cada resultado son iguales, es decir, $p_a+ p_b=p_a+ p_c$ y $p_c+ p_d=p_b+ p_d$ . Así pues, las hipótesis nula y alternativa son

\begin{align} H_0 & :~p_b=p_c \\ H_1 & :~p_b \ne p_c \end{align}

Por lo tanto, la hipótesis alternativa significa que $p_b$ ≠ $p_c$ las proporciones marginales son significativamente diferentes entre sí. Para adaptarlo a TP, TN, etc., véase una respuesta similar en https://stats.stackexchange.com/a/241844/99274 . Esto requiere que una prueba sea un "valor de verdad", lo que no es necesariamente propio de la prueba de McNemar, que en realidad sólo requiere que tengamos dos pruebas, no que una de ellas sea un "estándar".