Resumen estadístico de la curva de recuperación de precisión

Question

Por lo que entiendo, se puede utilizar el AUC de la curva ROC como una estadística de resumen de la plena curva.

Q1. ¿Hay alguna similar estadísticas de resumen que uno puede utilizar en una sola precision-recall de la curva?

Q2. Como tengo entendido, el $F$-score ($F_1$ o $F_\beta$), es medido en un operativo específico precision-recall régimen. es decir, una que necesita para arreglar un punto en el que la precisión del recuerdo de la curva para obtener una tasa de precisión y se asocia recordar velocidad para obtener un resultado en las fórmulas:

$F_1 = 2 \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{\mathrm{precision} + \mathrm{recall}}$

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

Si es así, ¿cómo elegir un punto en la curva?

Answer 1

La "Media aritmética de Precisión" (a veces abreviado mapa o un MAPA) podría ser lo que usted desea. Es muy comúnmente utilizado para la evaluación de sistemas de recuperación de información y es bastante sencillo de calcular.

En primer lugar, calcular el promedio de precisión para una consulta determinada. Para ello, clasificar los documentos y calcular la precisión después de la recuperación de cada documento relevante. Por ejemplo, supongamos que cuatro documentos que son relevantes para esta consulta, y nuestro sistema devuelve los siguientes:

1. Documento pertinente
2. Irrelevante documento
3. Documento pertinente
4. Documento pertinente
5. Irrelevante documento
6. Irrelevante documento.
7. Documento pertinente

El primer documento en cuestión está en la posición uno, y la precisión no es de 1/1 = 1.0 El siguiente documento correspondiente está en la posición 3; dos de los tres documentos visto hasta ahora son relevantes, por lo que nuestra precisión aquí es de 2/3. Documento 4 es relevante también, y la precisión de la puntuación es de 3/4. El último elemento relevante en la posición siete, que nos da una precisión de 4/7.

Encontrar la media de estas puntuaciones de precisión (1/4*(1 + 2/3 + 3/4 + 4/7) = ~0.747) para obtener el promedio de precisión para esta consulta. La media aritmética de precisión es simplemente la media de estos promedios a través de todas las consultas en la evaluación de conjunto.

Como para la elección de una precision-recall de comercio, que en gran medida depende de usted. El $F_1$ puntuación le da igual peso; se puede interpretar el $\beta$ $F_\beta$ dar $\beta$ veces más peso a recordar que la precisión. Creo que algunos estudios indican que los usuarios prefieren la precisión recordar, pero yo apuesto a que depende mucho de la aplicación y el caso de uso. Ciertamente no necesito google me muestra todas las páginas web acerca de los gatos, pero no queremos que todos los sitios en la primera página sea relevante. Por otro lado, podría ser más importante para devolver cada posiblemente-documento pertinente si usted está haciendo el descubrimiento de un caso en la corte.

Answer 2

En realidad no es un AUC de la PR-curva de medida; se utiliza en la biología (especialmente en el SUEÑO de la serie de desafíos alrededores), porque es coherente con AUROC (es decir, la clasificación general es el mismo si el rendimiento difiere significativamente) todavía da una mejor resolución numérica dando valores inferiores a AUROC.

El problema es que AUPR requiere de una cuidadosa integración, por lo que es bastante difícil encontrar una aplicación correcta.

Este es un canónica de papel sobre el tema.

Answer 3

Usted puede calcular el AUC de la república de china, por tan solo un (precisión,recall) punto de datos.

Este papel, Robusto clasificación por la imprecisión de los entornos, se describe cómo calcular el casco convexo de las AUC (que es bastante estándar ahora). Cuando usted tiene sólo uno (precisión,recall) de punto, de extender una línea recta hacia el siempre-dicen-no hay punto (0,0) y una línea recta hasta el siempre digo-sí (1,1), y usted tiene el convex hull.

Ahora el buen resultado: en este caso, con una sola coordenada, el cálculo se simplifica a

$AUC = (t − f + 1)/2$.

Esto pone de relieve la conexión entre las AUC y el coeficiente de Gini, comentó en otra parte.