Seis evaluadores de forma independiente nominal de 25 personas, mediante la identificación de fortalezas y debilidades: la elección de entre 35 rasgos (15 rasgos positivos y 20 rasgos negativos). El evaluador instrucciones para identificar un máximo de 3 puntos más fuertes y los 3 mayores debilidades de cada persona. En promedio, una persona recibió alrededor de las 3 de la fuerza o de la debilidad de calificaciones por parte de un evaluador (a menos que el 6 de espera según el evaluador instrucciones).
¿Cómo podría yo ir describir el grado de calificación de acuerdo? (Las opciones que vienen a la mente son el % de acuerdo y un cierto índice de confiabilidad inter-evaluador.)
Mi principal interés está en la persona del acuerdo de nivel, ya que las personas involucradas están interesados en saber si los evaluadores se les están dando información valiosa. El nivel global de acuerdo es también de interés.
Actualización: Un Enfoque Posible:
Este dilema parece que tiene 2 aspectos: (a) el desarrollo de una medida del nivel de evaluador contrato, y (b) el desarrollo de una herramienta para comparar el nivel observado de los evaluadores de acuerdo a la ocasión. Aquí es un método que describo en la esperanza de obtener una retroalimentación constructiva.
(a) Evaluador de Acuerdo la Relación de
Definir evaluador acuerdo la relación de el número total de atributos seleccionados por los evaluadores (contando cada vez que un atributo es elegido, sea o no el atributo es el elegido por varios evaluadores) a el número total de atributos únicos seleccionados (contando cada atributo seleccionado de una vez, no importa cómo muchos evaluadores eligió ese atributo)
Ya que hay 6 evaluadores, si todos los evaluadores eligió los mismos atributos, la proporción sería 6.0. Por ejemplo, si todos 6 los evaluadores eligió atributos 1 y 3, el evaluador acuerdo proporción sería 12/2=6. Si todos los evaluadores eligió diferentes atributos, la proporción sería de 1.0. Por ejemplo, si el 6 evaluadores eligió a 18 diferentes atributos, el evaluador acuerdo proporción sería 18/18=1.0. Por lo que esta medida puede variar desde 1) no agreemnt0 a 6 (perect acuerdo).
(b) la Distribución de los evaluadores acuerdo de relación basado en el azar
Calcular el grado de acuerdo que sería visto basado en el azar, mediante un estudio de Monte Carlo, de la siguiente manera.
Para cada evaluador, el recuento de los atributos elegidos para obtener una distribución de frecuencias de los atributos positivos y negativos elegido.
El uso de estas distribuciones de frecuencias para calcular el nivel de acuerdo que sería observada basada en el azar, de la siguiente manera.
Si Un evaluador elige 3 positivos y 2 negativos de los atributos de la persona 1, seleccione 3 positivos y 2 negativos de los atributos de estos dos grupos de atributos de los calificadores: (1) todos los atributos positivos elegido por Un evaluador para todas las personas, y (2) todos los atributos negativos elegido por Un evaluador para todas las personas, en ambos casos, permitiendo la frecuencia de atributo de decisiones. Repita este proceso para Evaluadores B a través F., a Continuación, calcular el evaluador acuerdo de relación debido a la oportunidad. Repita esto varias veces (método de Monte Carlo) para obtener el grado de acuerdo que se espera basado en el azar y la distribución de probabilidad de los evaluadores de acuerdo a la proporción. Compare esto con el nivel de acuerdo realidad observada.
¿Qué te parece?
