Se añadió una sexta opción de respuesta ("No sé") a una escala Likert de 5 puntos. ¿Se han perdido los datos?

Question

Necesito un poco de ayuda para recuperar los datos de un cuestionario.

Uno de mis colegas aplicó un cuestionario, pero inadvertidamente, en lugar de utilizar la escala Likert original de 5 puntos (de muy en desacuerdo a muy de acuerdo), insertó una sexta respuesta en la escala. Y, para empeorar el asunto, la 6ª opción de respuesta es "No sé".

El problema es la gran proporción de encuestados que, en un momento u otro, eligieron "no sé". Si fueran un porcentaje razonablemente pequeño, me habría limitado a excluirlos de la base de datos. Sin embargo, el núcleo de la investigación se basa en un modelo conceptual, y excluir tantos registros crearía un problema para el modelo.

¿Podría alguien indicarme la dirección correcta? ¿Hay alguna "buena práctica", o puedo hacer algo para utilizar (transformar, convertir, etc.) esas respuestas "no sé"?

Además, si realizo alguna manipulación de los datos en cuestión (es decir, si convierto las respuestas "no sé", por sustitución, imputación, etc.), ¿qué tipo de "descargo de responsabilidad", "advertencia", anotación, debería utilizar?

Sé que es una posibilidad remota, pero confieso que, además de salvar las respuestas, también tengo curiosidad por saber cuál es la práctica acordada (si es que la hay), en este tipo de casos.

PD: Sé que suena infantil, pero no, el "colega" no soy yo :)

Answer 1

¿Por qué tratar de forzar una calibración en algo que no es cierto? Como dijo Maarten, no se trata de una pérdida de datos sino de una ganancia de información. Si la píldora mágica que buscas existe, significaría que hay algunas suposiciones sobre tu población que se hacen, por ejemplo, un sesgo a favor de una etiqueta en particular aunque los usuarios digan "no lo sé".

Comprendo perfectamente tu frustración, pero la forma correcta de enfocar el problema es modificar el modelo para adaptarlo a tus necesidades en función de los datos reales existentes, y no al revés (modificando los datos).

Answer 2

Si se trata de un cuestionario estandarizado que ha sido validado de forma independiente, no se puede afirmar que el nuevo cuestionario sea equivalente, y los datos ya no son comparables. Se podría intentar validar y examinar el cuestionario en experimentos separados (lo que requiere mucho tiempo y esfuerzo, especialmente si también se quiere demostrar la comparabilidad con la versión antigua) o simplemente aceptar que se trata de una evidencia de menor calidad (ya que los datos proceden de un cuestionario no validado).

Cuando utilices tus datos, tendrás que tener en cuenta el cambio. Cuando se enfrentan a una pregunta sobre actitudes, las personas no dan una respuesta "objetivamente verdadera", sino que dan la respuesta que sienten que es verdadera, y esto está ciertamente influenciado tanto por las opciones de respuesta disponibles ("normalizan" sus respuestas a la escala) como por el conocimiento que tienen sobre el tema (hay sesgos conocidos que funcionan de manera diferente, a veces en diferentes direcciones) dependiendo de si el participante tiene mucho o poco conocimiento sobre el tema).

Por lo tanto, si se trata de un cuestionario establecido, tiene la bonita opción de comparar su versión del cuestionario con la original. Si el original asumía que la gente sabe lo que está seleccionando, y resulta que no es así, puedes discutir cómo el modelo antiguo se basa en suposiciones erróneas, y cuáles son las consecuencias de ello. Tenga en cuenta que se trata de un descubrimiento "secundario", que constituye una nueva y bonita pregunta de investigación, pero que le aleja de la original, y de hecho demuestra que responder a la original es mucho más difícil de lo que se pensaba, por lo que ciertamente multiplica su trabajo.

Si no se trata de un cuestionario establecido, puede dejarse llevar por la corriente y fingir que su cuestionario ad hoc se planificó así, y evaluar los resultados en consecuencia. Una vez más, esto puede significar que los resultados que esperaba son inalcanzables con este método, pero esto también es algo importante que hay que saber.

Para entender bien cómo la redacción y las opciones influyen en la forma de responder a los cuestionarios, sugiero la lectura de "Psicología de la respuesta a la encuesta" de Tourangeau et al. Es una gran lectura para todos los que alguna vez crean un cuestionario.

Answer 3

Si se pregunta cuántos hijos ha tenido el encuestado, las respuestas "cero" y "no procede" no significarían estrictamente lo mismo, ya que los hombres no pueden dar a luz.

Para algunos contextos, equiparar el "no sé" a la respuesta neutra podría ser, igualmente, un error conceptual.

En realidad, tienes dos preguntas: una dicotómica "¿Tienes una opinión?" y una ordinal "¿Cuál es?", al igual que, arriba, tienes una implícita "¿Eres mujer?" más allá de tu pregunta explícita.

Por supuesto, puedes introducir algunas suposiciones (a veces correctamente, a veces sólo por conveniencia, a veces de forma forzada) para permitirte alguna modelización, pero no veo ninguna estrategia universalmente aplicable sin entrar en el terreno de lo específico de tu fenómeno.

Como último punto a tener en cuenta, no tendría sentido intentar inferir a la población masculina nada a partir de las respuestas de fecundidad femenina.

Answer 4

El dilema de si se debe incluir o no la opción de respuesta No sabe en un cuestionario compuesto por escalas de valoración de tipo Likert es eterno. A menudo, cuando los ítems preguntan por la opinión, se incluye el NS porque no tener opinión es un estatus importante por sí mismo y la opción como tal es esperada por los encuestados. En los inventarios de rasgos personales en los que las personas atribuyen cualidades a un objetivo, la opción DK suele descartarse porque normalmente se espera que el encuestado sea capaz de evaluar el grado de afinidad de una característica (es decir, el encuestado se considera siempre capacitado); y cuando ocasionalmente encuentra dificultades se le permite (mediante instrucciones) saltarse ese ítem. En los inventarios de rasgos personales en los que las personas describen un objetivo (ítems de comportamiento), el DK (o no recuerdo) podría incorporarse o descartarse en función del diseño de la escala y de la pregunta específica del estudio.

@Hatim en su respuesta, @Maarten y algunos otros comentaristas de la pregunta OP han planteado sensatamente que una gran cantidad de respuestas DK observadas en el estudio actual indican problemas (de validez de contenido o de valor facial) en los ítems o que los sujetos no se ajustan al cuestionario que se les ordena.

Pero nunca se puede contar la historia, en última instancia, la interpretación del impedimento recae sobre usted (a menos que lo aborde en una investigación aparte). Se podría afirmar, por ejemplo, que la inclusión de la opción DK a los likerts en ese cuestionario (digamos que es un inventario de adscripción de rasgos) sirve para mal, no para bien. No te da información (de la que dicen los comentaristas, que it proves that the [rating] model is inadequate ), sino que distrajo/educó a un encuestado. Si no se suministra la decisión de valoración guiada por el esquema cognitivo implícito del rasgo, podría haberse elicitado; pero ver la opción de enfriamiento excluye el esquema y hace que uno se apresure a retirarse.

Si admite además - por su cuenta y riesgo, pero ¿por qué no? - que un sujeto fácilmente distraído o perezoso es aquel cuya visión potencial, retenida, es válida pero tiende a ser débilmente diferenciada -es decir, que invocaría fácilmente el convencionalismo das Man en lugar de personal Erlebnis En este caso, se puede especular que la respuesta que falta está en torno a la media de la muestra o de la población para ese ítem. Si es así, ¿por qué no hacer una sustitución de la media (+ruido) de las respuestas que faltan? O podría hacer una imputación EM o regresiva (+ruido) para tener en cuenta las correlaciones.

Repito: la decisión de imputación es posible pero arriesgada, y es poco probable, dada la gran cantidad de datos que faltan, que se restablezcan "verdaderamente" los datos ausentes. Como dijo @rumtscho, seguramente que el nuevo cuestionario con DK no es equivalente al original sin DK, y los datos ya no son comparables.

Se trata de especulaciones. Pero, en primer lugar, debería intentar investigar los patrones observados de ausencia. ¿Quiénes son los sujetos que seleccionaron DK? ¿Se agrupan en subtipos? ¿En qué se diferencian en el resto de los ítems de la submuestra "correcta"? Algunos programas informáticos disponen de un paquete de análisis de valores perdidos. A continuación, podrá decidir si se eliminan total o parcialmente, se imputan o se analizan como una submuestra separada.

P.D. Tenga en cuenta también que los encuestados son "estúpidos". A menudo se confunden con las calificaciones de la escala. Por ejemplo, si el punto DK se colocara cerca de un polo de la escala, a menudo se confundiría por falta de atención con ese polo. No estoy bromeando.

Answer 5

Ahora tiene encuestados autoseleccionados por tener una opinión sobre el asunto. Cualquier conclusión que saques se referirá únicamente a esas personas. Esto podría estar bien, ya que encuestar a los que "no saben" es, por definición, menos útil.