Evaluación de sistemas de recomendación con una clasificación binaria (implícito) sólo

Question

Estoy analizando un conjunto de artículos de noticias y el usuario de las bibliotecas. Biblioteca de usuario es el conjunto de artículos de noticias compartidas por un usuario. Obviamente, la calificación es de 1 (el artículo está en la biblioteca del usuario) y 0, de lo contrario. Yo hipotéticamente presente a cada usuario con M artículos ordenados por su evaluación prevista y evaluar según en cuál de estos artículos eran en realidad en la biblioteca. Así que, mi única evaluación métrica es

recordemos@M = # de artículos el usuario compartió en la parte superior M / # total de los artículos que el usuario compartido

Con precisión no tiene sentido como cero calificaciones son inciertos (un usuario no está interesado en el artículo, o es sólo consciente de ello). Si no puede pagar los estudios de usuarios (explícita comentarios de los usuarios sobre las recomendaciones), ¿cuáles son otras de evaluación de métricas que puedo usar? Gracias de antemano!

Answer 1

Yo sugiero utilizar la Utilidad Esperada o R-score. Suponga que su modelo ha creado una lista ordenada de recomendaciones donde el primer elemento es el que el usuario es el más probable, y la última es la que el usuario es menos probable que los interesados en. Digamos que estas recomendaciones son especificados por $r_i$ donde $i$ es la posición en la lista.

La utilidad esperada para un determinado usuario u se define ahora como: $R_u=\sum_{i=1}^{n}\frac{f_u(r_i)}{2^{\frac{i-1}{\alpha-1}}}$

donde ...

• $f_u(r_i)=1$, si el artículo recomendado $r_i$ es el de la biblioteca del usuario, de lo contrario 0
• $\alpha$ especifica la pendiente de la decadencia. El más pequeño de alfa, el mayor de la pendiente.

Esta métrica mide qué tan probable es que un usuario va a ver un artículo recomendado, suponiendo una lista de los elementos que se recomienda a él. Si el elemento de interés es colocada en una posición muy alta, es poco probable que el usuario se moleste en desplazamiento/buscar que ahora, incluso si es exactamente lo que él/ella quería. En este sentido, $\alpha$ especifica cómo el paciente, el usuario medio.

Para calcular el R-score para un conjunto de usuarios, se recomienda normalizar el R-la puntuación por usuario de antemano. La puntuación resultante es

$R =\sum_u\frac{R_u}{R_u^*}$

donde $R_u^*$ es el máximo de R-puntuación que se puede alcanzar para un solo usuario. Es decir, dado un usuario tiene k elementos en su biblioteca que desea predecir, los elementos de la primera k posiciones son exactamente los mismos.

Para más métricas o como un general de lectura recomiendo la Evaluación de las Recomendaciones de los Sistemas por Shani Y Gunarwadana