Método de evaluación de la tarea de categorización

Question

Tengo problemas para elegir un método de evaluación estadística adecuado para mis datos experimentales.

Un número de participantes fiables realiza una tarea de categorización binaria sobre n frases. Para cada punto de datos termino con $x$ "0" votos, y $(n-x)$ "1" votos. Ahora necesito una medida que me ayude a decidir cuándo es apropiado asignar la categoría "1" a una frase, incluso si $x>0$ .

Veo varios enfoques posibles:

• frecuentista: acepta la categoría si la proporción de valoraciones "1" es mayor que un determinado umbral (por ejemplo, 50%)
• prueba de significación para una sola proporción: aceptar la categoría "1" cuando su proporción es significativamente superior a un determinado umbral (por ejemplo $H_0: P(0) <= 0.5$ y $p<0.05$ )
• acuerdo entre evaluadores: aceptar la categoría "1" si el acuerdo es mayor que un determinado umbral (por ejemplo, el cappa de Fleiss $\kappa>0.6$ )

Desgraciadamente soy bastante ingenuo en estos temas, así que no estoy seguro de cómo elegir lo más adecuado para la tarea en cuestión.

/Edición -- Aquí están los detalles solicitados:

Estoy en la fase de planificación de un experimento científico. Tendré participantes ( $n=10$ o tal vez $20$ ) clasifican las frases como si tuvieran o no una determinada propiedad. La tabla de datos podría ser algo así: id|p1|p2|...|pn 1 |0 | 1|...|1 2 |1 | 1|...|1 con id como identificación de la frase y pn como número de participante. Quiero saber cuándo es apropiado asumir que la frase $i$ tiene la propiedad que busco, cuando no hay pleno acuerdo entre los participantes. Por ejemplo, para $id=4$ Observo las siguientes calificaciones: $0,0,1,1,1,1,0,0,1,1$ .

Answer 1

La forma natural de modelar cada caso de un sujeto que califica una frase es como un ensayo Bernoulli. Entonces se puede imaginar que cada frase distinta es el parámetro Bernoulli, o contribuye al parámetro Bernoulli en un modelo de regresión logística. Puede estimar la probabilidad de que la frase sea realmente un 1 con la fórmula aquí y establezca el umbral que desee para que una probabilidad sea lo suficientemente cercana a 0 o 1.

Lo que le falta a esta sencilla fórmula es una forma de tener en cuenta la variación dentro del sujeto, como por ejemplo un sujeto que está muy predispuesto a decir 1 para cualquier frase. En las ciencias sociales, este tipo de cosas son probables. Si quiere tenerlo en cuenta, puede estimar los verdaderos efectos de la frase con un modelo de regresión logística con variables ficticias para la frase y el sujeto; si tiene muchos sujetos en relación con el número de frases, puede ser conveniente modelar los sujetos como interceptos aleatorios en lugar de efectos fijos. Las características de los sujetos, como el sexo, también pueden incluirse como efectos fijos.