Porcentaje de probabilidad de que dos muestras sean poblaciones diferentes (NPS)

Question

Pregunta práctica (no soy estadístico), quiero hacer una diapositiva PPT (entre varias) en una discusión de negocios, relacionada con la comparación de una nueva encuesta con una antigua. Quiero poder decir algo en el sentido de que aumentar el tamaño de mi remuestreo no cambiaría la comparación (no es una casualidad, en otras palabras). ¿Una simple ecuación? ¿Por favor?

El primer estudio, N=67, tenía 11 detractores en una métrica NPS (Net Promoter Score). El segundo estudio, N=24, mostró 0 detractores. [Lo cual sabía que ocurriría ya que tenía entrevistas previas bien difundidas, informes secundarios, etc.]

El primer estudio tenía un montón de problemas con la selección de su audiencia y sus preguntas (utilizando términos muy confusos, literalmente erróneos, y probablemente mezclando a un grupo de bebedores de cerveza en una encuesta sobre el whisky e incluso haciéndoles creer que era una encuesta sobre bebidas en general - no son realmente esos productos, pero sí análogos).

Ya he criticado la terminología de la pantalla y de la pregunta. Y las respuestas libres también apoyan mi postura. (¿Por qué la gente intenta hacerse la graciosa y actuar de forma inteligente en lugar de hacer una simple roca infalible? GRR!)

Pero me gustaría alguna ecuación simple que puedo ejecutar que dice (todo lo mismo, y estoy de acuerdo tanto la población y el método difieren), lo que es la casualidad de rodar los dados al azar, estoy equivocado. En otras palabras, mi N = 24 es insuficiente. Tiene que ser una casualidad minúscula, como repartir una escalera de color. Sabía más o menos lo que iba a pasar, ya que había hecho N=8 entrevistas en profundidad en este ámbito y estaban estructuradas como VOC, pero todavía tenían muchas preguntas de valoración, sólo para suscitar el debate. Y luego realicé un N=24 disciplinado y con guión, y obtuve el mismo resultado (como mi VOC, no la desordenada encuesta Web quant).

Answer 1

Parece que has identificado $i=11$ detractores en una encuesta de $m=67$ personas y más tarde, en una encuesta separada de $n=24$ personas, identificadas $j=0$ detractores; y uno se pregunta hasta qué punto puede ser sorprendente esa diferencia.

Quizás la forma más sencilla de concebir (y por tanto de modelar) esta situación es suponer que todos los $m+n=67+24$ personas estaban disponibles al mismo tiempo; que entre ellas había $i+j=11+0$ detractores; y en una muestra aleatoria de $m=67$ sucedió, sólo por la suerte del sorteo, que un gran número de $i$ o más detractores fueron recogidos.

Esta probabilidad es fácil de calcular a partir de definiciones básicas, porque el número de formas exactamente $i$ detractores pueden aparecer en una muestra de tamaño $m$ es igual a (a) el número de maneras en que todos $i+j$ Los detractores pueden dividirse en un grupo de tamaño $i$ (que formará parte de la primera muestra) y un grupo complementario de tamaño $j$ (para formar parte de la segunda muestra) veces (b) el número de formas en que todos $n+m-(i+j)$ otros encuestados pueden dividirse en un grupo de tamaño $n-i$ (para la primera muestra) y un grupo complementario de tamaño $m-j$ (para la segunda muestra). Utilizando la notación binomial estándar

$$\binom{x}{y}=\text{Number of subsets of size } y \text{ in a set of size }x = \frac{x!}{(x-y)!y!}$$

(como siempre, $x! = x(x-1)(x-2)\cdots(2)(1)$ es el factorial de $x$ ), podemos escribir este recuento como

$$\binom{i+j}{i}\,\binom{(m+n)-(i+j)}{m-i}.$$

Porque hay $\binom{m+n}{m}$ formas distintas de dividir todo $m+n$ personas en las dos encuestas, la probabilidad es la proporción de todas esas formas que comprende el evento en cuestión. Se calcula como el cociente de los dos recuentos,

$$p(i;m,n,j) = \frac{\binom{i+j}{i}\,\binom{(m+n)-(i+j)}{m-i}}{\binom{m+n}{n}}.$$

Para los datos de la pregunta, $p(11;67,24,0)\approx 0.0272 = 2.72\%.$ Dado que es imposible que más de $11$ detractores de haber estado en la primera muestra, no tenemos que añadir más posibilidades: $2.72\%$ es la respuesta.

Aunque esta posibilidad no es tan astronómicamente pequeña como se sugiere en la pregunta, es lo suficientemente pequeña como para sugiera este modelo de probabilidad de las dos muestras es incorrecto. ¿Qué parte debe fallar? La suposición de que sólo el azar operó al colocar a todos los detractores en la primera muestra. Eso justifica que la diferencia en el número de detractores se deba, al menos en parte, a alguna diferencia real en las poblaciones, en lugar de atribuirla únicamente al azar.