Cómo tratar las respuestas ilógicas de la encuesta

Question

He presentado una encuesta a una muestra de artistas. Una de las preguntas era para indicar el porcentaje de los ingresos derivados de: la actividad artística, el apoyo del gobierno, la pensión privada, las actividades no relacionadas con las artes. Alrededor del 65% de los individuos han respondido de tal manera que la suma del porcentaje es de 100. Los otros no: por ejemplo, hay quienes contestan que el 70% de sus ingresos derivan de sus actividades artísticas y el 60% de los ingresos del gobierno, y así sucesivamente. Mi pregunta es: ¿cómo debo tratar estas observaciones? ¿Debo borrarlas, modificarlas o mantenerlas? Gracias!

Answer 1

Esta es una buena situación para un análisis de sensibilidad. Analice sus datos de tres maneras --

1. Como son
2. Tras excluir a "los ilógicos", es decir, a las personas cuyos porcentajes no suman 100 (o 100 +/- 10)
3. Después de ajustar, si es necesario, para que los porcentajes de cada persona sumen 100

A continuación, compara los resultados, compartiendo cualquier razonamiento que puedas desarrollar sobre qué resultados podrían ser más precisos, o más precisos en ciertos aspectos.

También puedes investigar en qué se diferencian los lógicos y los ilógicos, si es que hay alguno. ¿Los ilógicos tienden a declarar mayores ingresos? ¿Mostrar un mayor apoyo a determinadas ideas o programas? ¿Saltan más preguntas? ¿Muestran un mayor sesgo en el sentido de elegir directamente o de forma desproporcionada respuestas medias o extremas?

Con unos 400 o estos ilógicos, se tienen suficientes datos incluso para evaluar la relación entre grado de ilógica y el grado de un determinado tipo de sesgo. Algo así como una relación dosis-respuesta.

Lo que aprendas de estas investigaciones podría ser retroalimentado en tu plan para lidiar con los ilógicos cuando se trata de los principales análisis de interés.

Answer 2

Como ya se ha aludido aquí Esas respuestas no son necesariamente ilógicas. Por ejemplo, usted dice

Los demás no: por ejemplo, hay quien contesta que el 70% de sus ingresos se derivan de sus actividades artísticas y el 60% de los ingresos gubernamentales, y así sucesivamente.

Esto tiene mucho sentido si el 30% de los ingresos provienen de actividades artísticas realizadas para el gobierno. Entonces tenemos realmente tres grupos:

• Actividad artística, no relacionada con el gobierno: 40%.
• Gobierno, sin relación con la actividad artística: 30%.
• Actividad artística subvencionada por el gobierno: 30%.

Esas cifras suman el 100%.

Considere las siguientes preguntas:

• ¿Los cupones de alimentos son del gobierno o de actividades no relacionadas con las artes?
• ¿La Seguridad Social es un gobierno o una pensión?
• ¿Una pensión del gobierno (antiguo empleado del gobierno) es una pensión privada o del gobierno?
• ¿Una subvención del gobierno para pintar un cuadro es una actividad artística o gubernamental?
• ¿Es un trabajo de enseñanza de las artes en un gobierno escolar local o una actividad artística o actividades no relacionadas con las artes?
• Si se jubila de un trabajo artístico (docente o comercial, por ejemplo, dibujando tarjetas de regalo), ¿la pensión es de la actividad privada o artística? O en el caso de la enseñanza, ¿es posible que sea gubernamental?

Parece que quieres que estas categorías sean mutuamente excluyentes. Sin embargo, no creo que todo el mundo las interprete así. Puede que usted tenga una idea clara de cómo deben clasificarse esas actividades, pero no está claro que sus encuestados tuvieran las mismas divisiones en mente cuando respondieron. Como mínimo, si quieres que las cifras sumen el 100%, deberías decírselo a la gente.

Personalmente, creo que el mejor enfoque para este tipo de problema es hacer una especie de grupo de discusión. En una encuesta tradicional, es posible que no puedas validar las respuestas. Así que llama o visita a las personas a las que iría dirigida la encuesta y entabla una conversación. Cuando den respuestas que no entiendas, pregúntales por qué. Y además, pregúntales cómo deberías haber formulado la pregunta para obtener el tipo de resultados que deseas. Esto funciona más bien como un grupo de discusión en el sentido de que es interactivo.

Una vez hecho esto, podrá tener una mejor idea de cómo manejar las respuestas que no se ajustan a su formato. Por ejemplo, podrías tomar el 30% extra y restar la mitad de cada una. Entonces tendrías un 55% de actividad artística y un 45% de gobierno. O bien se podría recategorizar como un 40% de actividad artística privada, un 30% de actividad artística patrocinada por el gobierno y un 30% de otros (en este caso, ayudas del gobierno no relacionadas con la actividad artística, por ejemplo, vales de comida o ayudas al alquiler). O desechar la encuesta y rehacerla, porque la gente no está entendiendo bien sus categorías. Parte de esto depende de lo que hayas entendido de las categorías y de cómo lo hayan interpretado ellos.

Ya es demasiado tarde, pero para futuras encuestas, considere la posibilidad de hacer un grupo de discusión regular antes de la encuesta. Así podrá probar sus preguntas en el entorno del grupo y mejorarlas. Puede que incluso descubras que obtienes preguntas adicionales del grupo. Si es demasiado difícil hacerlo en persona, considere la posibilidad de hacerlo en línea. O haz una encuesta de prueba (de un número menor de personas, validando las respuestas con preguntas de seguimiento) por teléfono personalmente antes de hacer la encuesta real. Cualquiera de estas opciones puede ayudarte a aclarar tus preguntas.

Por ejemplo, tal vez sus categorías reales deberían haber sido ingresos privados de la actividad artística; actividad artística patrocinada por el gobierno; pensión privada de un trabajo anterior; otros ingresos no relacionados con la actividad artística. O algo diferente. Parte del problema es que no puedo saber lo que quieres, lo que me hace pensar que tus encuestados tampoco podrían. Si hay tres interpretaciones diferentes, es casi como si estuvieras mezclando respuestas de tres encuestas diferentes.

Answer 3

No puedo darle una respuesta para el caso general de las respuestas ilógicas. Pero para este tipo específico de preguntas, ya lo he hecho. No sólo en una encuesta, sino también en entrevistas semiestructuradas, en las que tuve la oportunidad de observar cómo la gente llega a este tipo de respuestas. Basándome en esto, así como en la experiencia general en la observación y el análisis de los procesos cognitivos, sugeriría: normalizar los datos a una suma del 100% . La razón es que la gente parece ir primero a la categoría más destacada -en su caso, sería la de mayores ingresos-, dar una estimación visceral de la misma en porcentaje, y luego empezar a pensar en las siguientes categorías más pequeñas y basar su estimación en relación con el ancla de la primera categoría, más la de otras categorías ya mencionadas.

Por ejemplo, un tren de pensamiento será como: "Mi primera fuente de ingresos es sin duda más de la mitad. ¿Qué hace, el 60%? No, eso es demasiado bajo, digamos que el 65%. La segunda es aproximadamente un tercio de eso, así que sería un poco más del 20%, eh, difícil de calcular en mi cabeza, redondeemos al 25%. El tercero también parece un tercio del primero, pero en realidad siempre es un poco más que el segundo, así que debería ser el 30%. ¿O incluso 35? No, vamos con el 30. Ah, y se me olvidaba que tengo una cuarta fuente, que sólo ocurre una vez al año, que debería ser muy pequeña comparada con las otras, así que ¿5 o 10%? Probablemente el 5 es más cercano, no es realmente tanto". Y así acabas con una respuesta de 65 + 25 + 30 + 5 = 125%.

Dado que la gente tiende a ser más consciente del tamaño relativo de las partes de los ingresos entre sí que de cada parte con respecto al total, yo diría que normalizarlos es lo adecuado en este caso, si se quiere realizar algún tipo de análisis numérico sobre los ingresos. Yo sólo trabajaría con las cifras reales declaradas si la diferencia entre las creencias y declaraciones de la gente sobre sus ingresos y la realidad objetiva es un tema importante para tu trabajo, por ejemplo si eres un psicólogo que estudia los sesgos cognitivos, o si estás más interesado en la autopercepción de los artistas que en sus circunstancias económicas.

Lamentablemente, no tengo una buena fuente bibliográfica que demuestre que realmente funciona como lo he descrito, es sólo mi observación empírica personal. Pero no creo que los revisores se dejen llevar por este tipo de decisiones, ya que, como dicen las otras respuestas, no hay una única forma "correcta" de tratarlo. En todo caso, descartarán todos los datos de esta pregunta como inválidos debido a una técnica de consulta defectuosa. Lo mejor que puedes hacer es reconocerlo de forma preventiva y argumentar por qué tu trabajo es, no obstante, útil y por qué las conclusiones que sacas siguen siendo buenas a pesar de esta fuente específica de inexactitud en los datos.

Answer 4

Si las ciencias sociales me han enseñado algo, es que si le das a la gente la oportunidad de dar respuestas lógicamente inconsistentes, lo harán. Así que ten por seguro que no hay nada raro en tus sujetos. Esto es algo que hay que tener en cuenta para diseñar futuras encuestas. Por el momento, puede ser mejor dejar las respuestas como están y tener en cuenta en sus análisis que las respuestas no sumarán realmente el 100%, como uno pensaría. En lugar de proporciones reales, tienes señales ruidosas de cuántos ingresos obtiene cada sujeto de cada categoría, así que analízalas de esa manera.

Answer 5

actividad artística, apoyo gubernamental, pensión privada, actividades no relacionadas con el arte

A simple vista, parece que la "actividad artística" y la "actividad no relacionada con las artes" deberían sumar el 100%.

Por supuesto, "actividad no relacionada con las artes" no es lo mismo que "no actividad relacionada con las artes", ya que puede haber ingresos asociados a ninguna actividad. Pero eso es una tontería que la mayoría de los artistas no notarán.

Si se parte de la base de que las categorías 1 y 4 deben sumar el 100%, y se reinterpreta a los encuestados en consecuencia, se puede encontrar que la mayoría de ellos han incluido las categorías 2 y 3 en la categoría 4.

Sin embargo, todo esto es una manipulación de datos que no es ideal. Si quieres respuestas estadísticas precisas, debes recoger datos que sean precisos. La gente puede mentir en respuesta a su encuesta, y eso es difícil de evitar, pero si las personas que intentan responder a sus preguntas pueden confundir lo que se quiere decir, hay que reescribir la encuesta.

La próxima vez revise la encuesta para comprensibilidad así como ambigüedad antes de enviarlo.