¿Cuáles son los buenos recursos/criterios para juzgar el sesgo humano en la recogida de datos?

Question

Me acaban de dar una pila de datos de encuestas para analizar. Algunas de las preguntas son evidentemente tendenciosas o presentan sutiles incentivos (para el encuestador o el encuestado) para obtener respuestas específicas. De otras preguntas no estoy tan seguro, pero tengo algunas dudas. También empiezo a cuestionar otros factores sobre cómo se realizó la encuesta (entorno, privacidad, etc.). Me gustaría poder presentar el análisis con los datos no fiables descontados según alguna norma reconocida.

¿Cuáles son las reglas o los métodos de actuación para evaluar si los resultados son basura en función de los factores humanos en la recogida de datos?

Aceptaré gustosamente criterios específicos, o enlaces a recursos como libros o páginas web sobre el tema.

Como no soy un estadístico profesional, incluso que me digan qué términos se usan para este campo de estudio y sus preocupaciones ayudaría mucho (aunque quizás sea mejor añadirlo como comentarios).

Answer 1

Posiblemente Ley de Benford puede ayudar. Consulte la sección de aplicaciones en la wiki

Answer 2

En cuanto a las preguntas capciosas, aquí hay varias opciones de cómo intentaría investigar si sus sospechas son ciertas;

1 - Realiza tu propio experimento. Una de las condiciones consistirá en imitar las preguntas principales de las encuestas anteriores; la otra condición será una encuesta elaborada con preguntas y respuestas funcionalmente similares, pero sin la(s) pregunta(s) principal(es). Asigne las encuestas al azar, y las diferencias en la distribución de las respuestas pueden atribuirse a las diferentes preguntas (+ error de muestreo).

2 - Determine si hay otras encuestas que tengan preguntas funcionalmente similares pero que no estén dirigidas, y observe la distribución de las respuestas de esas encuestas. Lo único que debe preocuparle aquí son las diferencias en las características de la muestra entre sus encuestas injustas y las justas, que podrían explicar algunas de las diferencias observadas en las respuestas.

3 - Identifique los constructos entre las preguntas de su encuesta injusta. Si las preguntas principales dentro de ese constructo tienen correlaciones bajas con otros ítems justos, podría tomarse como evidencia de que la pregunta no está devolviendo la información que debería.

Estoy seguro de que hay alguna literatura psicológica/psicométrica sobre cómo hacer las preguntas (o sobre otros elementos como el "entorno"). Seguro que te vendría bien revisar algunos de esos trabajos.

Buena suerte