Precisión media frente a rango recíproco medio

Question

Estoy tratando de entender cuándo es apropiado usar el MAP y cuándo se debe usar el MRR. He encontrado este presentación que establece que el MRR se utiliza mejor cuando el número de resultados relevantes es inferior a 5 y mejor cuando es 1. En otros casos, el MAP es apropiado. Tengo dos preguntas:

• No entiendo muy bien por qué esto es así.
• No puedo encontrar una referencia citable para esta afirmación.

Por favor, ten en cuenta que no tengo una gran formación estadística, así que una explicación no especializada ayudaría mucho. Gracias.

Answer 1

Imagínese que tiene algún tipo de consulta y que su sistema de recuperación le devuelve una lista clasificada de los 20 elementos que considera más relevantes para su consulta. Imaginemos también que existe una verdad de base, que en realidad podemos decir de cada uno de esos 20 que "sí" es una respuesta relevante o "no" lo es.

Rango recíproco medio (MRR) le da una medida general de calidad en estas situaciones, pero El MRR sólo se preocupa por el elemento relevante mejor clasificado . Si su sistema devuelve un artículo relevante en el tercer puesto, eso es lo que le importa a MRR. No le importa si los otros artículos relevantes (suponiendo que los haya) están en el puesto 4 o en el 20.

Por lo tanto, el MRR es apropiado para juzgar un sistema en el que, o bien (a) sólo hay un resultado relevante, o bien (b) en su caso de uso sólo le interesa realmente el mejor clasificado. Esto podría ser cierto en algunos escenarios de búsqueda en la web, por ejemplo, donde el usuario sólo quiere encontrar una cosa en la que hacer clic, no necesita más. (Aunque, ¿es eso típicamente cierto, o estarías más contento con una búsqueda en la web que te devolviera diez respuestas bastante buenas, y pudieras hacer tu propio juicio sobre cuál de ellas pulsar?)

Precisión media (MAP) considera si todo de los elementos relevantes tienden a obtener una clasificación alta. Así, en el ejemplo del top-20, no sólo le importa si hay una respuesta relevante en el número 3, sino también si todos los "sí" de esa lista están agrupados hacia arriba.

Cuando sólo hay una respuesta relevante en el conjunto de datos, el MRR y el MAP son exactamente equivalente según la definición estándar de MAP.

Para ver por qué, considere los siguientes ejemplos de juguetes, inspirados en los ejemplos de esta entrada del blog :

Ejemplo 1

Consulta: "Capital de California"

Resultados de la clasificación: "Portland", "Sacramento", "Los Ángeles"

Resultados clasificados (relevancia binaria): [0, 1, 0]

Número de respuestas correctas posibles: 1

Rango recíproco: $\frac{1}{2}$

Precisión a la 1: $\frac{0}{1}$

Precisión en 2: $\frac{1}{2}$

Precisión a las 3: $\frac{1}{3}$

Precisión media = $\frac{1}{m} * \frac{1}{2} = \frac{1}{1}*\frac{1}{2} = 0.5$ .

Como puede ver, la precisión media de una consulta con exactamente una respuesta correcta es igual al rango recíproco del resultado correcto. De ello se deduce que el MRR de una colección de consultas de este tipo será igual a su MAP. Sin embargo, como se ilustra en el siguiente ejemplo, las cosas divergen si hay más de una respuesta correcta:

Ejemplo 2

Consulta: "Ciudades en California"

Resultados de la clasificación: "Portland", "Sacramento", "Los Ángeles"

Resultados clasificados (relevancia binaria): [0, 1, 1]

Número de respuestas correctas posibles: 2

Rango recíproco: $\frac{1}{2}$

Precisión a la 1: $\frac{0}{1}$

Precisión en 2: $\frac{1}{2}$

Precisión a las 3: $\frac{2}{3}$

Precisión media = $\frac{1}{m} * \big[ \frac{1}{2} + \frac{2}{3} \big] = \frac{1}{2} * \big[ \frac{1}{2} + \frac{2}{3} \big] = 0.38$ .

Por tanto, la elección de MRR frente a MAP en este caso depende totalmente de si se quiere que influyan o no las clasificaciones tras el primer acierto.