13 votos

Intelligence Squared calificación y determinación del ganador

Hay un programa en la RADIO podcast llamado Intelligence Squared. Cada episodio es una retransmisión de un debate sobre algunos contencioso afirmación como "La 2da enmienda no es relevante" o "acción Afirmativa en los campus de la universidad hace más daño que bien". Cuatro representantes en el debate-- dos de la moción y a dos en contra.

Para determinar qué parte gana, la audiencia es encuestados antes y después del debate. El lado que ganó más en términos de porcentaje absoluto es considerado el ganador. Por ejemplo:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Intuitivamente, creo que esta forma de medir el éxito es parcial y me pregunto cómo sería de encuesta de la audiencia para determinar el ganador de una manera justa.

Tres cuestiones de inmediato ver con el método actual:

  • En los extremos, si una parte se inicia con un 100% de acuerdo, sólo pueden empate o pierda.

  • Si no hay indecisos, entonces el lado con menos acuerdo inicial puede ser visto como el que tiene un mayor tamaño de la muestra de la que extraer.

  • Los indecisos lado no es probable que sea indeciso. Si asumimos que los dos lados son igualmente polarizado, parece que nuestros antes de creencias acerca de los indecisos de la población debería ser $\text{Beta}(\text{# For}, \text{# Against})$ si cada uno se vio obligado a tomar un lado.

Dado que tenemos que confiar en los índices de audiencia, hay una más justa manera de juzgar quién gana?

10voto

jldugger Puntos 7490

Sus preocupaciones están bien fundadas. Por desgracia, hay muchos defendible, objetivo maneras de resolver este problema y que pueden entrar en conflicto el uno con el otro. El siguiente análisis proporciona un marco para decidir cómo usted podría desear para evaluar el resultado y muestra cómo dependientes de sus conclusiones son en suposiciones sobre la dinámica de la situación.


Tenemos poco o ningún control sobre la audiencia inicial. Es posible que no representan a una población más grande (como todos los espectadores) en el que estamos más interesados. Por lo tanto, absoluta números de las opiniones son de poca importancia: lo que importa son las tasas a las cuales las personas pueden cambiar sus mentes. (De estas tasas se podría estimar cómo la escucha de la población podría cambiar, dado que la información acerca de sus opiniones iniciales, incluso cuando las proporciones de opiniones en la audiencia difieren de la audiencia del estudio que se realizó el sondeo.)

El resultado, por tanto, consta de seis posibles cambios de opinión y seis asociados tasas de cambio:

  • Los "para", a quien yo le índice de con $1,$ puede cambiar su mente y terminan ya sea en contra (con índice de $2$) en la tasa de $a_{12}$ o indeciso (con índice de $3$) en la tasa de $a_{13}$.

  • Los "contra" puede cambiar su mente "para" en la tasa de $a_{21}$ o "indeciso" en la tasa de $a_{23}$.

  • Los indecisos pueden cambiar sus mentes "para" en la tasa de $a_{31}$ o "en contra" en la tasa de $a_{32}.$

Definir $a_{ii}$$i=1,2,3,$, la proporción de personas de índice $i$ no cambiar sus mentes.

Las columnas de la matriz $\mathbb{A}=(a_{ij})$ contienen números no negativos que se debe agregar a la unidad (suponiendo que todo el mundo que responde a la inicial de la encuesta también responde a la final). Que deja a los seis valores independientes para determinar la base sobre la transición de la distribución inicial en la audiencia, $x=(0.18, 0.42, 0.40)$, hasta la distribución final $y=(0.23, 0.49, 0.28) = \mathbb{A}x$. Este es un sistema subdeterminado de (restringido) de ecuaciones lineales, dejando una gran flexibilidad en la obtención de una solución. Veamos tres soluciones.

Solución 1: Menos Cambiar

Podríamos hacer la transición de la matriz $\mathbb{A}$ a ser tan pequeño como sea posible en algún sentido. Es una manera de minimizar el total de las proporciones de personas que cambian sus opiniones. Esto se consigue en el ejemplo con la solución

$$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$$

Es decir, $12.5\%$ de los indecisos terminó, $17.5\%$ de ellos terminó en contra, y ninguno de el original fors o againsts cambiado sus mentes. ¿Quién ganó? El againsts, obviamente, porque el debate convenció a un mayor porcentaje de los indecisos que conformarse con el "en contra" de la opinión.

Este modelo sería apropiado cuando usted cree que el inicial facciones se endurecieron sus opiniones y las únicas personas que pueden cambiar sus mentes están entre los inicialmente declarados como indecisos.

Solución 2: Mínimos Cuadrados

Matemáticamente simple solución es encontrar la matriz de $\mathbb{A}$ cuyo cuadrado $L^2$ norma $||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$ es tan pequeño como sea posible: esto minimiza la suma de los cuadrados de los nueve probabilidades de transición (que incluyen la $a_{ii}$ lo que representa la proporción de las personas que no cambian sus mentes). Su solución (redondeado a dos decimales) es

$$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$$

La comparación de las filas, vemos que a pesar de $22\%$ de los "contra" de lado fue persuadido para convertir a "para" (y otro $27\%$ eran lo suficientemente confundido a ser indecisos), plenamente $41\%$ de los "para" lado se convirtió (y otro $31\%$ fueron confundidos). El original indecisos tienden a convertir a la "contra" ( $50\%$ versus $22\%$). Ahora "contra" es el claro ganador.

La solución de mínimos cuadrados normalmente goza de una gran cantidad de cambios en cada grupo. (Sujeto a las restricciones del problema, se está tratando de hacer los cambios, todos iguales a $1/3$.) Si corresponde a una representación realista de la población es difícil de determinar, pero sí presentan un matemáticamente posible imagen de lo que ocurrió durante el debate.

Solución 3: Penalizado Menos Plazas

Para controlar y limitar la velocidad a la que las personas cambian sus opiniones, vamos a penalizar a los mínimos cuadrados objetivo mediante la inclusión de términos que por favor, no cambiar de opinión. Estos son los términos de la diagonal de a $\mathbb{A}$. Podríamos suponer que es más difícil cambiar la opinión de alguien que no está indeciso, así que sería bueno para restar importancia al último. Para este fin de introducir positivo pesos $\omega_i$ y encontrar $\mathbb{A}$ que $$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$$ es minimizado.

Por ejemplo, vamos a restar importancia a los indecisos en un 50% mediante la selección de los pesos $\omega = (1,1,1/2)$. El (redondeado) la solución es

$$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$$

Esta solución es un intermedio entre los dos primeros: una pequeña proporción de los cometidos lados cambiado su forma de pensar o se convirtió indeciso mientras que $40\%$ de los indecisos tomado una decisión ($17\%$$23\%$en contra). Una vez más, sin embargo, los resultados claramente a favor de la "contra" de la facción.

Resumen

En este modelo de transición de opinión, en cambio, la mayoría de los métodos de solución de indicar una victoria para la "contra" de lado en este ejemplo en particular. En ausencia de cualquier fuertes opiniones acerca de la dinámica del cambio, que sugieren que el "en contra" de lado ganado.

En otras circunstancias, algunos métodos de solución podría indicar un ganador y otros métodos de solución de otro ganador. Por ejemplo, en la transición de la $(.20,.60,.20)$ $(.30,.40,.30)$que ingenuamente se parece a la "fors" había una espectacular victoria: su número aumentó de$20\%$$30\%$, mientras que el "en contra" de la facción de la disminución de$40\%$$30\%$. Sin embargo, la (redondeado) de mínimos cuadrados de la solución, al menos, sugiere que hay una manera en que esto podría suceder en el que el debate ligeramente favorecido el otro lado! Es

$$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$$

Aquí, $36\%$ de los "fors" cambiado para el otro lado mientras que sólo el $29\%$ de la "contra" cambió a la opinión opuesta. Por otra parte, un poco más de la indecisos $(36\%)$ vs $32\%$) salió "contra" en lugar de para. Aunque sus números en esta audiencia disminuyó, tenemos una situación (una reminiscencia de la de la Paradoja de Simpson) en la que el "en contra" de la facción claramente ganó el debate!

Comentarios Adicionales

Si las encuestas de opinión puede realizar un seguimiento de los individuos antes y después, se podría estimar la totalidad de la matriz de transición $\mathbb{A}$ y no sería mucho menos la incertidumbre acerca de los efectos del debate en la opinión pública.

Los tres métodos de solución se ilustra aquí no son las únicas posibles: otros se puede encontrar mediante la ponderación de los coeficientes de $\mathbb{A}$ individualmente, por ejemplo. Que cubren una amplia gama de posibilidades, a pesar de que, desde el parsimonioso "menos cambiar" la solución a través de la agresividad de los mínimos cuadrados de la solución. Por lo tanto, explorar la gama de soluciones obtenidas con estos tres métodos se debe dar una buena indicación de lo que pueda razonablemente alcanzarse. Si todos están de acuerdo en el resultado, que debe estar en duda.

3voto

SHU Puntos 18

El problema de sesgo de aquí parece ser que uno de los lados puede ser la favorita para ganar, incluso si no tienen el mejor debate de la habilidad, más que el concepto estadístico de sesgo de un estimador. Un enfoque natural sería para abordar esta preocupación directa: el uso de los datos de los concursos anteriores para ajustar un modelo de regresión \begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation} y establecer la regla ganadora como una función de la antes-debate-encuesta para que la predicción de la probabilidad de ganar es $0.5$ para ambos equipos. Tenga en cuenta que todavía hay múltiples opciones para la regla de decisión como el resultado de espacio es de 2 dimensiones, pero, si confiamos en el modelo predictivo, esto no importa en términos de justicia y equidad de la contienda. Uno podría, por ejemplo, acaba de decidir que el equipo gana si el Para-en Contra de la relación tras el debate excede su predictivo mediana (condicional en el antes de la encuesta).

Ideas para la construcción de un modelo predictivo

Inicialmente, tenía en mente un "black-box" modelo de la después-encuesta-números como una función de la antes-encuesta-números y el ruido. Sin embargo, un mejor enfoque puede ser prestado whuber la idea de considerar las probabilidades de transición. Más simple (aunque tal vez no realista) enfoque sería examinar las probabilidades de transición como independientes de los de antes-debate-las cifras de la encuesta. Por ejemplo, suponga que las probabilidades de transición son extraídas de Dirichlet distribuciones: \begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align} donde el $P$s son las probabilidades de transición para los individuos y la $a$s son hyperparameters que controlan cómo las probabilidades de transición varían de un debate a otro. El $a$s son aprendidas a partir de los datos de la muestra anterior, ya sea mediante la optimización de las estimaciones puntuales (por ejemplo, máximo a posteriori o de máxima verosimilitud) de estos, o de una solución Bayesiana que las salidas de un trabajo posterior de la distribución de la $a$s. También se podría añadir algunas restricciones de simetría si uno quiere asumir a favor y en contra se comportan de manera similar (antes de conocer el debate en particular de la pregunta), por ejemplo:, $a_{ff}=a_{aa}$, $a_{fu}=a_{au}$.

Dadas las distribuciones posteriores o las estimaciones puntuales de $a$s, y la distribución de los individuos en la actual antes de la encuesta (que ahora asume para ser independiente de las probabilidades de transición), es sencillo para simular la distribución de la después-debate-las cifras de la encuesta y, a continuación, elija la mediana de, por ejemplo, para/contra-la relación de la ganancia de umbral.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X