¿Cómo puedo ordenar o clasificar a un conjunto de expertos?

Question

Tengo una base de datos que contiene un gran número de expertos en un campo. Para cada uno de los expertos que tienen una variedad de atributos/puntos de datos como:

• número de años de experiencia.
• licencias
• numero de comentarios
• el contenido de los textos de los comentarios
• La calificación de 5 estrellas en cada uno de los comentarios, por una serie de factores como la velocidad, la calidad, etc.
• premios, assosciations, conferencias, etc.

Yo quiero darle una calificación a estos expertos dicen que fuera de 10 basado en su importancia. Algunos de los puntos de datos puede ser que falte para algunos de los expertos. Ahora mi pregunta es ¿cómo puedo llegar con este algoritmo? Puede que nadie me señale algunas relevante de la literatura?

También me preocupa que con toda la notación/revisa los números pueden montón hasta cerca de algunos valores. Por ejemplo, la mayoría de ellos podría terminar encima de conseguir un 8 o un 5. Es allí una manera de resaltar litle diferencias en una mayor diferencia en la puntuación de sólo algunos de los atributos.

Algunos otros debates que pensé que podría ser relevante:

• http://stats.stackexchange.com/questions/1848/bayesian-rating-system-with-multiple-categories-for-each-rating
• http://stats.stackexchange.com/questions/2689/how-would-you-compute-imdb-movie-rating
• http://stats.stackexchange.com/questions/1/eliciting-priors-from-experts
• http://stats.stackexchange.com/questions/2563/what-are-some-of-the-best-ranking-algorithms-with-inputs-as-up-and-down-votes

Answer 1

En última instancia, esto puede no ser únicamente un ejercicio estadístico. La PCA es un muy poderoso método cuantitativo que le permiten generar una puntuación o pesos en sus primeros componentes principales que se pueden utilizar para la clasificación. Sin embargo, al explicar lo que los principales componentes es muy difícil. Son cuantitativos de las construcciones. No son dialéctica. Por lo tanto, para explicar lo que realmente significa es que a veces no es posible. Esto es especialmente cierto si usted tiene una audiencia que no es cuantitativa. Ellos no tienen idea de lo que están hablando. Y, piensan en su PCA como algunos críptico caja negra.

En su lugar, yo simplemente la línea de todas las variables relevantes y el uso de un sistema de ponderación basado en lo que uno piensa, la ponderación debe ser.

Creo que si desarrollas para los forasteros, los clientes, los usuarios, sería grande si usted podría incrustar la flexibilidad de decidir sobre la ponderación de los usuarios.
Algunos usuarios pueden valorar años de experiencia, mucho más que la certificación y viceversa. Si usted puede salir de esa decisión. De esta manera el algoritmo no es una caja negra que no entienden y que no se siente cómodo con. Mantenga totalmente transparente y hasta en base a su propia valoración relativa de lo que importa.

Answer 2

¿Usted piensa que usted podría cuantificar todos esos atributos?

Si es así, me gustaría sugerir la realización de un análisis de componentes principales. En el caso general, donde todas las correlaciones son positivas (y si no, usted puede conseguir fácilmente usando algún tipo de transformación), el primer componente principal puede ser considerado como una medida del total de la importancia de los expertos, ya que es un promedio ponderado de todos los atributos (y los pesos sería el correspondiente a las contribuciones de las variables Bajo esta perspectiva, el método en sí va a revelar la importancia de cada atributo). La puntuación que cada experto logra en el primer componente principal es lo que usted necesita para clasificarlos.

Answer 3

La gente ha inventado numerosos sistemas para la clasificación de las cosas (como los expertos) en varios criterios: visita la página de la Wikipedia en Multi-criterios de análisis de decisión para una lista. No bien representados allí, sin embargo, es uno de los más defendible métodos: Multi atributo de valoración de la teoría. Esto incluye un conjunto de métodos para evaluar el trade-offs entre los conjuntos de criterios con el fin de: (a) determinar la forma apropiada para re-expresar los valores de las variables individuales y (b) el peso de la re-expresa los valores para obtener una puntuación para el ranking. Los principios son simples y defendible, la matemática es inimputable, y no hay nada de fantasía acerca de la teoría. Más gente debería de saber y la práctica de estos métodos en lugar de inventar arbitraria de los sistemas de puntuación.