¿Existe un sesgo conocido en las encuestas telefónicas en Estados Unidos?

Question

Estuve mirando una encuesta de WashingtonTimes/ABC, y el desglose de los resultados, especialmente por edad, me pareció sorprendente. Así que me puse a buscar el sesgo.

Decía: "la encuesta se realizó por teléfono del 11 al 14 de diciembre de 2014, entre una muestra aleatoria de 1.000 adultos. Las entrevistas se realizaron en inglés y español en teléfonos fijos y móviles".

La encuesta no me dio el número de encuestados en cada grupo de edad, y mi primer pensamiento fue: ¡¿Qué clase de joven de 18 a 29 años está en casa para contestar el teléfono? Vale, incluyen el móvil, eso lo hace un poco más justo. Pero aún así, ¿qué clase de joven de 18 a 29 años contesta a su teléfono móvil, le preguntan si quiere hacer una encuesta y dice "sí, claro"?

(No lo digo como una pregunta retórica; mi corazonada es que ciertos grupos son mucho más propensos, por ejemplo, alguien con baja autoestima podría disfrutar del proceso de que un extraño le pida su opinión por teléfono).

Entonces, ¿hay alguna investigación sobre este tema? ¿Una organización interesada en manipular la opinión pública elegiría un sondeo telefónico, en lugar de los sondeos en línea, o de las entrevistas en la calle, si buscase un sesgo específico?

Answer 1

¿Existe un sesgo conocido en las encuestas telefónicas en Estados Unidos?

Sí, hay un sesgo conocido en las encuestas telefónicas en Estados Unidos: los teléfonos móviles.

Durante mucho tiempo, el estándar de oro de los sondeos telefónicos aleatorios en Estados Unidos fue la marcación aleatoria de dígitos: las máquinas generaban números de teléfono al azar y los encuestadores hacían preguntas a quien respondía. Suponiendo que todo el mundo tuviera un solo teléfono, la encuesta era una simple muestra aleatoria de propietarios de teléfonos.

Sin embargo, la llegada de los teléfonos móviles cambió eso: mucha gente, sobre todo los jóvenes, no tiene teléfono fijo. Incluso dentro de determinados grupos demográficos (franja de edad, sexo, raza), estas poblaciones que sólo tienen teléfono móvil tienen actitudes políticas distintas de las poblaciones que tienen teléfono fijo o ambos tipos de teléfono. Dado que es ilegal que los marcadores automáticos llamen a los teléfonos móviles, esto causa estragos en las encuestas.

Para los encuestadores, esto significa que tienen que utilizar seres humanos para llamar a todos los teléfonos móviles, lo que obviamente es mucho más caro. Así que los encuestadores deben a priori , deciden el número de teléfonos móviles a los que deben llamar para controlar los costes. El número de llamadas a teléfonos móviles debe equilibrarse con el número de llamadas automáticas a teléfonos fijos de una forma científicamente fundamentada: marcando un número suficiente de casas con sólo teléfonos móviles, casas con sólo teléfonos fijos y casas con ambos en proporción a su incidencia en la población, todo ello sin exceder su presupuesto.

El efecto de los teléfonos móviles probablemente no sea la fuente del posible sesgo.

Sospecho que los encuestadores que utilizaron la encuesta del Washington Times/ABC son muy conscientes de todo esto, ya que la forma de construir una muestra aleatoria a la luz del "efecto celular" es bastante el tema del que se ocupan hoy todas las encuestas políticas contemporáneas. Así que es probable que los encuestadores hayan tomado medidas para mitigar el "efecto del teléfono móvil" en esta encuesta. Sin embargo, quizá los encuestadores tuvieron un mal día y su marcación aleatoria de números de teléfono móvil no produjo suficientes respuestas reales.

Si hay un sesgo, podrían ser las ponderaciones de la muestra.

Otra fuente potencial de sesgo en estas encuestas es la ponderación de la muestra. El objetivo de la ponderación de las muestras es reducir el número de personas a las que hay que llegar en varios (combinaciones de) grupos demográficos atribuyendo diferentes pesos a los distintos segmentos de población. Esto, por supuesto, lleva a la pregunta "¿cómo sabes que has ponderado la muestra correctamente?". Esta es la razón por la que algunas empresas de sondeos tendrán estimaciones que están constantemente por encima/por debajo de las de otras empresas de sondeos: tienen diferentes métodos para ponderar su muestra, y eso tira sistemáticamente del resultado en una dirección determinada.

Este es un ejemplo de la compensación entre el sesgo y la varianza. Los encuestadores podrían utilizar una muestra aleatoria pequeña y sencilla para conseguir una estimación de alta varianza. O podrían utilizar ponderaciones para reducir la varianza de la estimación de la muestra pequeña, pero a costa del sesgo (estadístico).

Todos los encuestadores (y los estadísticos en general) tienen que lidiar con el equilibrio entre el sesgo y la varianza de una forma u otra. Esto no significa necesariamente que sean malévolos o que intenten manipular al público.

Las explicaciones alternativas abundan.

Hay muchas maneras de estropear una encuesta, accidental o deliberadamente. La reformulación de una pregunta puede dar lugar a respuestas diferentes entre distintos grupos. El ejemplo más obvio y nefasto es el de las encuestas push, en las que las preguntas se formulan para obtener una respuesta determinada.

Si una organización interesada en manipular la opinión pública eligiera una encuesta telefónica, en lugar de encuestas en línea o entrevistas en la calle, ¿buscaría un sesgo específico?

Esta pregunta no es del todo estadística, ya que exige especular sobre los motivos y métodos de una hipotética entidad malévola. Sólo puedo responderla parcialmente.

Entrevistar a la gente en la calle no es realmente aleatorio, y probablemente esté sesgado (en el sentido de que tenderá a incluir algunos grupos en mayor proporción que otros).

El objetivo de la marcación aleatoria es conseguir un estado en el que todos tengan la misma probabilidad de ser seleccionados. Ir a una esquina y entrevistar a la gente no lo consigue del todo, porque se tiende a incluir a las personas que viven y trabajan cerca. Si va a una calle de Washington, DC, tendrá casi cero probabilidades de seleccionar a una persona que no sea de DC, Maryland o Virginia.

Además, ten en cuenta a qué calle vas. Entrevistar a la gente en la calle en, por ejemplo, el barrio de Cleveland Park de Washington, DC, será muy diferente a entrevistar a la gente en la calle en Anacostia: estos lugares tienen una composición demográfica muy distinta.

Encuestar a la gente en línea no es realmente aleatorio, pero no está claro si es peor que el sondeo telefónico.

La población de personas que optan por una encuesta en línea es una población autoseleccionada, no necesariamente muestreada al azar entre todos los encuestados potenciales. Los encuestadores tradicionales, que tienden a favorecer los sondeos telefónicos, son muy escépticos con respecto a los sondeos en línea por esta razón. Sin embargo, personas como Andrew Gelman están menos seguras de que la resultado final de un sondeo telefónico aleatorio y un sondeo en línea autoseleccionado es significativamente diferente. Se trata de un área de investigación muy abierta.

Answer 2

Hay un buen estudio de Pew que analiza cuánto han disminuido los índices de respuesta, y también cuáles son los efectos.

http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

"Un nuevo estudio del Pew Research Center for the People & the Press que, a pesar del descenso de las tasas de respuesta, las encuestas telefónicas que incluyen teléfonos fijos y móviles y se ponderan para que coincidan con la composición demográfica de la población siguen proporcionando datos datos precisos sobre la mayoría de las medidas políticas, sociales y económicas. Esto concuerda de los principales sondeos cuando se trata de estimar los resultados de las cuando se trata de estimar los resultados electorales, entre otras cosas.

"Esto no quiere decir que la disminución de las tasas de respuesta no tenga consecuencias. Un área importante de posible sesgo de falta de respuesta de respuesta es que los participantes en la encuesta tienden a estar de la encuesta tienden a estar mucho más comprometidos con la actividad cívica que los que no participan, lo que confirma lo que han demostrado las investigaciones anteriores. que los que no participan, lo que confirma lo que han demostrado las investigaciones anteriores. Las personas que voluntarios son más propensos a participar en las encuestas que los que que no lo hacen. Esto tiene serias implicaciones para la para la capacidad de una encuesta de medir con precisión los comportamientos relacionados con el voluntariado y la actividad cívica. Por ejemplo, las encuestas telefónicas pueden sobreestimar comportamientos como la asistencia a la iglesia, el contacto con los funcionarios elegidos o asistir a actos de campaña".

Answer 3

¿Una organización interesada en manipular la opinión pública elegiría un sondeo telefónico, en lugar de los sondeos en línea, o de las entrevistas en la calle, si buscase un sesgo específico?

Todos los métodos de sondeo pueden estar sesgados, incluidos algunos otros no mencionados en la pregunta.

Para sobrerrepresentar los puntos de vista de los mayores, elegir una encuesta telefónica y "olvidarse" de normalizar los grupos de cuotas de edad, sabiendo que los encuestados más jóvenes estaban poco representados.

El sondeo en la calle, sin fijación de cuotas ni normalización, sería probablemente la forma más fácil de obtener un sesgo. Como en el caso de Sycorax, basta con elegir la calle. El sondeo en horas de trabajo o fuera de ellas también transformaría los resultados. Una vez fui entrevistador de calle. Trabajábamos con cuotas estrictas que combinaban el rango de edad, el género y la clase social, pero dentro de esto era consciente de mi propia tendencia a acercarme a las personas dentro de la cuota que me gustaban por su aspecto (personas que se parecían un poco a mí, si se quiere) en lugar de las personas dentro de la cuota que tenían un atractivo visual menos inmediato. Y no creo que hubiera cuotas para los tipos de entrevistadores.

Los periódicos sensacionalistas británicos realizan regularmente "encuestas" autoseleccionadas de sí/no entre sus propios lectores, normalmente sobre una pregunta principal emotiva, informando de los resultados como si se tratara de una auténtica encuesta representativa de la población, y a menudo con mayor importancia que las encuestas adecuadas y éticamente realizadas.

Como ha comentado Andy Jones, hay formas mucho más fáciles de sesgar una encuesta. La elección de fechas y horas, los ajustes de redacción (especialmente en las encuestas de "antes y después"), las preguntas capciosas, las preguntas directivas para crear un estado de ánimo previo o de filtro, las suposiciones reduccionistas, las opciones de respuesta restringidas, etc. En Londres, varias secciones municipales de gestión del tráfico, del aparcamiento y de la consulta pública parecen hacer de estas técnicas solapadas su especialidad.

Normalmente, si se introducen restricciones al tráfico, sólo se consultará a los residentes de una estrecha zona cercana, y no a los conductores. Los residentes recibirán una tarjeta en la puerta de su casa, o tal vez dos tarjetas en una gran propiedad antigua dividida en cinco o siete pisos.

Una forma verdaderamente insuperable de sesgo en las encuestas, aunque no forme parte del proceso de votación en sí, es llevarlas a cabo de cualquier manera (por ejemplo, perfectamente) y luego simplemente suprimir los resultados si no convienen. Una asociación de vecinos de una zona en la que viví una vez, controlada con mano de hierro por un funcionario sindical muy manipulador, hizo precisamente eso.

Finalmente, en 2004, al volver de unas vacaciones en el aeropuerto de Stansted me encontré con una "puerta" formada por una doble pared de plexiglás y un detector de movimiento. Se invitaba a los pasajeros a atravesar esta puerta opcional si querían que los Juegos Olímpicos se celebraran en Londres. Una considerable minoría de la opinión pública en aquel momento no estaba entusiasmada con la idea de recibir una factura enorme por un evento de vanidad, recordando la carga fiscal griega y la corrupción en Utah, y el equipo de London Back the Bid intentaba recabar apoyos.

Podías pasar por la puerta tantas veces como quisieras para registrar un "voto" (se llamaba así) cada vez para las Olimpiadas, para deleite de las familias con niños pequeños. Por desgracia, se olvidaron de habilitar una segunda puerta para los que no querían pasar una gran factura durante 30 años, o para los que, como yo, pensaban que París era digna del evento.

Curiosamente, el resultado al estilo soviético fue que el 100% de los británicos querían las Olimpiadas. Voy a seguir pagando por ellos hasta mi jubilación. Qué útiles son las encuestas.