¿Ponerle peso a un sistema de clasificación para favorecer los artículos altamente calificados por más personas sobre los artículos altamente calificados por menos personas?

Question

Gracias de antemano por soportarme, no soy un estadístico de ningún tipo y no sé cómo describir lo que estoy imaginando, así que Google no me está ayudando aquí...

Estoy incluyendo un sistema de clasificación en una aplicación web en la que estoy trabajando. Cada usuario puede calificar cada artículo exactamente una vez.

Estaba imaginando una escala con 4 valores: "fuertemente antipático", "antipático", "me gusta", y "fuertemente me gusta", y había planeado asignar estos valores de -5, -2, +2, y +5 respectivamente.

Ahora, si todos los artículos iban a tener el mismo número de calificaciones, entonces me sentiría bastante cómodo con este sistema de puntuación como para diferenciar claramente los artículos más y menos queridos. Sin embargo, los artículos no tendrán el mismo número de valoraciones, y la disparidad entre el número de votos en diferentes fotos puede ser bastante dramática.

En ese caso, la comparación de las puntuaciones acumuladas en dos ítems significa que un viejo ítem con muchas puntuaciones mediocres va a tener una puntuación mucho más alta que un nuevo ítem excepcional con muchos menos votos.

Así que, lo primero obvio que pensé de nosotros es que tomáramos un promedio... ...pero ahora si un ítem tiene sólo una calificación de "+5" tiene un mejor promedio que un ítem que tiene una calificación de 99 "+5" y una calificación de 1 "+2". Intuitivamente eso no es una representación exacta de la popularidad de un ítem.

Imagino que este problema es común y no necesitan que lo explique con más ejemplos, así que me detendré en este punto y elaboraré los comentarios si es necesario.

Mis preguntas son:

1. ¿Cómo se llama este tipo de problema, y hay un término para las técnicas utilizadas para resolverlo? Me gustaría saberlo para poder leerlo.
2. Si sabe de algún recurso accesible al público sobre el tema, le agradecería mucho un enlace.
3. Por último, agradecería cualquier otra sugerencia sobre cómo recoger y analizar eficazmente este tipo de datos.

¡Muchas gracias por su tiempo!

Answer 1

Una forma de combatir esto es utilizar proporciones en cada categoría, lo que no requiere poner números para cada categoría (puede dejarlo como un 80% calificado como "fuertemente me gusta"). Sin embargo, las proporciones tienen el inconveniente de que número reducido de valoraciones de la cuestión. En tu ejemplo, la foto con una valoración de +5 obtendría una puntuación media (y una proporción) más alta que una con una valoración de 99 +5 y 1 +2. Esto no encaja bien con mi intuición (y sospecho que con la de la mayoría de la gente).

Una forma de sortear este problema de tamaño de muestra pequeño es utilizar una técnica bayesiana conocida como " La regla de sucesión de Laplace "(buscar este término puede ser útil). Se trata simplemente de añadir 1 "observación" a cada categoría antes de calcular las probabilidades. Si se quiere sacar una media para un valor numérico, yo sugeriría un media ponderada donde los pesos son las probabilidades calculadas por la regla de sucesión.

Para la forma matemática, dejemos que $n_{sd},n_{d},n_{l},n_{sl}$ denotan el número de respuestas de "no me gusta", "no me gusta", "me gusta" y "me gusta mucho" respectivamente (en los dos ejemplos, $n_{sl}=1,n_{sd}=n_{d}=n{l}=0$ y $n_{sl}=99,n_{l}=1,n_{sd}=n_{d}=0$ ). A continuación, se calcula la probabilidad (o el peso) de que se produzcan fuertes como

$$Pr(\text{"Strongly Like"}) = \frac{n_{sl}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}$$

Para los dos ejemplos que das, dan probabilidades de "gustar mucho" como $\frac{1+1}{1+0+0+0+4}=\frac{2}{5}$ y $\frac{99+1}{99+1+0+0+4}=\frac{100}{104}$ que creo que coinciden más con el "sentido común". Eliminando las constantes añadidas se obtiene $\frac{1}{1}$ y $\frac{99}{100}$ lo que hace que el primer resultado parezca más alto de lo que debería (al menos para mí).

Las puntuaciones respectivas vienen dadas simplemente por la media ponderada, que he escrito a continuación como:

$$Score=\begin{array}{1 1} 5\frac{n_{sl}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}+2\frac{n_{l}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4} \\ - 2\frac{n_{d}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4} -5\frac{n_{sd}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}\end{array}$$

O más sucintamente como

$$Score=\frac{5 n_{sl}+ 2 n_{l} - 2 n_{d} - 5 n_{sd}}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}$$

Lo que da puntuaciones en los dos ejemplos de $\frac{5}{5}=1$ y $\frac{497}{104}\sim 4.8$ . Creo que esto muestra una diferencia apropiada entre los dos casos.

Puede que esto haya sido un poco "matemático", así que avísame si necesitas más explicaciones.

Answer 2

Yo adoptaría un enfoque gráfico. El eje x podría ser la valoración media y el y el número de valoraciones. Yo solía hacer esto con las estadísticas deportivas para comparar la contribución de los jóvenes fenómenos con la de las estrellas veteranas. Cuanto más cerca esté un punto de la esquina superior derecha, más cerca estará del ideal. Por supuesto, decidir cuál es el "mejor" punto seguiría siendo una decisión subjetiva, pero esto proporcionaría cierta estructura.

Si desea graficar la calificación promedio contra otra variable, entonces podría establecer el número de calificaciones como la tercera variable usando el tamaño de la burbuja, en un gráfico de burbuja--por ejemplo, en XL o SAS.