¿Por qué las AUC superior para un clasificador que es menos preciso que el de uno que es más preciso?

Question

Tengo dos clasificadores

• R: naive Bayesiano de la red
• B: árbol (de forma aislada conectada a) de la red Bayesiana

En términos de precisión y otras medidas, realiza comparativamente peor que la de B. sin Embargo, cuando uso el R paquetes ROCR y AUC para realizar análisis ROC, resulta que las AUC para que Una es superior a la de las AUC para B. ¿por Qué está sucediendo esto?

Los verdaderos positivos (tp), falsos positivos (fp), falsos negativos (fn), verdaderos negativos (tn), sensibilidad (sen), la especificidad (spec), valor predictivo positivo (vpp), valor predictivo negativo (vpn) y la precisión (acc) para a y B son como sigue.

+------+---------+---------+
| | A | B |
+------+---------+---------+
| tp| 3601 | 769 |
| fp| 0 | 0 |
| fn| 6569 | 5918 |
| tn| 15655 | 19138 |
| sens| 0.35408 | 0.11500 |
| spec| 1.00000 | 1.00000 |
| ppv| 1.00000 | 1.00000 |
| vna| 0.70442 | 0.76381 |
| acc| 0.74563 | 0.77084 |
+------+---------+---------+

Con la excepción de sens y lazos (spec ppv) en los marginales (excluyendo tp, fn, fn, y tn), B parece funcionar mejor que la A.

Cuando me calcular el AUC de sens (eje y) vs 1-spec (eje x)

aucroc <- auc(roc(data$prediction,data$labels));

aquí está la comparación de las AUC.

+----------------+---------+---------+
| | A | B |
+----------------+---------+---------+
| sens vs 1-spec| 0.77540 | 0.64590 |
| sens vs spec| 0.70770 | 0.61000 |
+----------------+---------+---------+

Así que aquí están mis preguntas:

• ¿Por qué es el AUC para Una mejor que la B, cuando B "se parece" a superar Una con respecto a la exactitud?
• Así que, ¿cómo puedo realmente juez/a comparar la clasificación de las actuaciones de a y B? quiero decir, ¿puedo usar el AUC de valor? ¿puedo usar el acc valor? y ¿por qué?
• Además, cuando puedo aplicar adecuadamente la puntuación de las reglas a y B, B supera en términos de registro de la pérdida, la pérdida cuadrática, esférica y pérdidas (p & lt; 0,001). ¿Cómo es que estos pesan en juzgar el rendimiento de clasificación con respecto a las AUC?
• El ROC gráfico de Una ve muy suave (es una curva de arco), pero el ROC gráfico B se ve como un conjunto de líneas conectadas. ¿Por qué es esto?

Conforme a lo solicitado, aquí están las parcelas del modelo A.

Aquí están las parcelas para el modelo B.

Aquí está el histograma de las parcelas de la distribución de las probabilidades de a y B. (saltos de 20).

Aquí está el gráfico de dispersión de las probabilidades de B vs A.

Answer 1

Inadecuado reglas de puntuación, tales como la proporción clasificados correctamente, la sensibilidad y especificidad no sólo son arbitrarias (en la elección del umbral), pero son inadecuados, es decir, que tienen la propiedad de que la maximización de ellos conduce a un falso modelo, inexacta predicciones, y seleccionando el mal de características. Es bueno que ellos están en desacuerdo con la debida puntuación (log-verosimilitud; logarítmica de la regla de puntuación; Brier score) reglas y el $c$-índice (un semi-regla de puntuación - área bajo la curva ROC; la concordancia de la probabilidad; estadística de Wilcoxon; Somers' $D_{xy}$ rango coeficiente de correlación); esto nos da más confianza en las debidas reglas de puntuación.

Answer 2

1. ¿Por qué es el AUC para Una mejor que la B, cuando B "se parece" a superar Una con respecto a la exactitud?

   La precisión se calcula el valor de umbral de 0.5. Mientras que el AUC es calculada mediante la adición de todas las "precisiones" calculada para todos los posibles valores de umbral. ROC puede ser visto como una media (valor esperado) de esas precisiones cuando se calculan para todos los valores de umbral.

2. Así que, ¿cómo puedo realmente juez/a comparar la clasificación de las actuaciones de a y B? Quiero decir, ¿puedo usar el AUC de valor? ¿puedo usar el acc valor? y ¿por qué?

   Depende. Curvas ROC dice algo acerca de cómo su modelo su modelo separa las dos clases, no importa donde el valor de umbral es. La precisión es una medida que funciona bien por lo general, cuando las clases se mantiene el mismo equilibrio en el tren y conjuntos de la prueba, y cuando las puntuaciones son realmente las probabilidades. ROC le da más pistas sobre cómo el modelo se comportará si este supuesto es violado (sin embargo, es sólo una idea).

3. además, cuando puedo aplicar adecuadamente la puntuación de las reglas a y B, B supera en términos de registro de la pérdida, la pérdida cuadrática, esférica y pérdidas (p & lt; 0,001). ¿cómo es que estos pesan en juzgar el rendimiento de clasificación con respecto a las AUC?

   No sé. Usted tiene que entender mejor lo que los datos acerca de. Lo que cada modelo es capaz de comprender a partir de los datos. Y más tarde decide que es el mejor compromiso. La razón por la que sucede es que no hay una métrica universal acerca de un clasificador de rendimiento.

4. El ROC gráfico de Una ve muy suave (es una curva de arco), pero el ROC gráfico B se ve como un conjunto de líneas conectadas. ¿por qué es esto?

   Que es probablemente debido a que el modelo bayesiano le da transiciones suaves entre esas dos clases. Eso se traduce en muchos de los valores de umbral. Lo que significa que muchos de los puntos de la curva ROC. El segundo modelo, probablemente, producen menos valores debido a la predicción, con el mismo valor en grandes regiones del espacio de entrada. Básicamente, también la primera curva ROC se realiza por líneas, la única diferencia es que hay tantas adyacentes pequeñas líneas, que la vea como una curva.

Answer 3

¿Por qué es el AUC para Una mejor que la B, cuando B "se parece" a superar Una con respecto a la exactitud?

En primer lugar, aunque el cut-off (0.5) es el mismo, lo que no es comparable en absoluto entre a y B. De hecho, parece bastante diferente a la de su histogramas! Mira B: todas sus predicciones son < 0.5.

Segundo, ¿por qué es B tan precisa? Debido a la clase de desequilibrio. En la prueba B, usted tiene 19138 ejemplos negativos, y 6687 positivos (¿por qué los números son diferentes en Un es claro para mí: los valores perdidos, tal vez?). Esto significa que simplemente diciendo que todo es negativo, ya puedo lograr una buena precisión: precisión 19138 / (19138 + 6687) = 74%. Tenga en cuenta que este no requiere absolutamente ningún conocimiento en absoluto más allá del hecho de que hay un desequilibrio entre las clases: incluso el más tonto modelo puede hacer eso!

Y esto es exactamente lo que la prueba B en el umbral de 0.5... (casi) sólo predicciones negativas.

Una es más de una bolsa mezclada con. Aunque tiene un poco menos de precisión, tenga en cuenta que su sensibilidad es mucho mayor en esta corte...

Por último, no se puede comparar la precisión (una actuación en uno de umbral) con las autodefensas unidas de colombia (un promedio de rendimiento en todos los posibles umbrales). Como estas métricas miden cosas diferentes, no es de extrañar que son diferentes.

Así que, ¿cómo puedo realmente juez/a comparar la clasificación de las actuaciones de Un y B? quiero decir, ¿puedo usar el AUC de valor? ¿puedo usar el acc valor? y por qué?

Además, cuando puedo aplicar adecuadamente la puntuación de las reglas a y B, B supera Una en términos de registro de la pérdida, la pérdida cuadrática, y esféricas de la pérdida de (p < 0.001). ¿Cómo evalúan a juzgar clasificación el rendimiento con respecto a las AUC?

Tienes que pensar: ¿qué es lo que realmente quieres hacer? ¿Qué es importante? En última instancia, sólo puede responder a esta pregunta en base a su conocimiento de la cuestión. Tal vez AUC tiene sentido (rara vez se hace realmente cuando usted realmente piensa de él, excepto cuando no se quiere tomar una decisión ti mismo, pero deje a los demás a hacerlo - que es más probable si usted está haciendo una herramienta para que otros la utilicen), tal vez la exactitud (si usted necesita un binario, go-no go respuesta), pero tal vez en los umbrales diferentes, tal vez algunos otros más medidas continuas, tal vez una de las medidas sugeridas por Frank Harrell... como ya se ha dicho, no hay ninguna pregunta universal aquí.

El ROC gráfico de Una ve muy suave (es una curva de arco), pero el ROC gráfico B se ve como un conjunto de líneas conectadas. ¿Por qué es esto?

De vuelta a las predicciones que mostró en los histogramas. Una le da un continuo o casi continuo de predicción. Por el contrario, B devuelve en su mayoría sólo unos pocos valores diferentes (como se puede ver por la "spiky" histograma).

En una curva ROC, cada punto corresponde a un umbral. En Una, usted tiene un montón de umbrales (debido a que las predicciones son continuas), por lo que la curva es suave. En B, usted sólo tiene unos umbrales, por lo que la curva se ve "salta" de un SN/SP a otra.

Ver saltos verticales cuando la sensibilidad sólo a los cambios (el umbral que hace que las diferencias sólo para los casos positivos), horizontal salta cuando la especificidad sólo a los cambios (el umbral que hace que las diferencias sólo para los ejemplos negativos), y diagonal salta cuando el cambio de umbral afecta tanto a las clases.