30 votos

¿Cómo puedo calcular el margen de error en un resultado de NPS (Net Promoter Score)?

Dejaré que la Wikipedia explique cómo NPS se calcula:

El Net Promoter Score se obtiene preguntando a los clientes una única pregunta en una escala de valoración de 0 a 10, donde 10 es "muy probable" y 0 es "nada probable": "¿Qué probabilidad hay de que recomiende nuestra nuestra empresa a un amigo o colega". En función de sus respuestas, los clientes se clasifican en uno de los tres grupos: Promotores (9-10 (9-10), pasivos (7-8) y detractores (0-6). El porcentaje de Detractores de porcentaje de Detractores se resta del porcentaje de promotores para obtener la puntuación neta de los promotores (NPS). El NPS puede ser tan bajo como -100 (todos son detractores) o tan alto como +100 (todos son promotores).

Llevamos varios años realizando esta encuesta periódicamente. Cada vez recibimos varios cientos de respuestas. La puntuación resultante ha variado entre 20 y 30 puntos a lo largo del tiempo. Estoy intentando averiguar qué movimientos de puntuación son significativos, si es que hay alguno.

Si eso resulta demasiado difícil, también me interesa intentar averiguar el margen de error de los cálculos básicos. ¿Cuál es el margen de error de cada "cubo" (promotor, pasivo, detractor)? Incluso, ¿cuál es el margen de error si sólo miro la media de las puntuaciones, reduciendo los datos a un solo número por encuesta? ¿Me llevaría a alguna parte?

Cualquier idea aquí es útil. Excepto "no uses NPS". Esa decisión está fuera de mi capacidad de cambio.

46voto

jldugger Puntos 7490

Supongamos que la población, de la que suponemos que se hace un muestreo aleatorio, contiene proporciones $p_1$ de los promotores, $p_0$ de pasivos, y $p_{-1}$ de detractores, con $p_1+p_0+p_{-1}=1$ . Para modelar el SPN, imagine que llena un gran sombrero con un enorme número de billetes (uno por cada miembro de su población) etiquetados $+1$ para los promotores, $0$ para los pasivos, y $-1$ para los detractores, en las proporciones dadas, y luego dibujar $n$ de ellos al azar. El muestra El NPS es el valor medio de los billetes sorteados. El verdadero El NPS se calcula como el valor medio de todas las entradas del sombrero: es el valor esperado (o expectativa ) del sombrero.

Un buen estimador del verdadero NPS es el NPS muestral. El NPS de la muestra también tiene una expectativa. Se puede considerar que es la media de todos los posibles NPS de la muestra. Esta expectativa resulta ser igual al NPS verdadero. La página web error estándar del NPS de la muestra es una medida de cuánto varían normalmente los NPS de la muestra entre una muestra aleatoria y otra. Afortunadamente, no tenemos que calcular todas las muestras posibles para encontrar el SE: se puede encontrar de forma más sencilla calculando la desviación estándar de los billetes del sombrero y dividiendo por $\sqrt{n}$ . (Se puede hacer un pequeño ajuste cuando la muestra es una proporción apreciable de la población, pero no es probable que sea necesario aquí).

Por ejemplo, consideremos una población de $p_1=1/2$ promotores, $p_0=1/3$ pasivos, y $p_{-1}=1/6$ detractores. El verdadero NPS es

$$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$$

El desviación es por lo tanto

$$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$$

El desviación estándar es la raíz cuadrada de esto, aproximadamente igual a $0.75.$

En una muestra de, digamos, $324$ Por lo tanto, es de esperar que se observe un NPS en torno a $1/3 = 33$ con un error estándar de $0.75/\sqrt{324}=$ sobre $4.1$ %.

De hecho, no conoce la desviación estándar de los billetes del sombrero, así que la estima utilizando la desviación estándar de su muestra en su lugar. Cuando se divide por la raíz cuadrada del tamaño de la muestra, se estima el error estándar del NPS: esta estimación es el margen de error (MoE).

Siempre que se observe un número considerable de cada tipo de cliente (normalmente, unos 5 o más de cada uno serán suficientes), la distribución de la muestra de NPS será casi normal. Esto implica que se puede interpretar el ME de las formas habituales. En particular, aproximadamente 2/3 de las veces el NPS de la muestra estará dentro de un MoE del NPS verdadero y aproximadamente 19/20 de las veces (95%) el NPS de la muestra estará dentro de dos MoE del NPS verdadero. En el ejemplo, si el margen de error fuera realmente del 4,1%, tendríamos un 95% de confianza en que el resultado de la encuesta (la ENP de la muestra) está dentro del 8,2% de la ENP de la población.

Cada encuesta tendrá su propio margen de error. Para comparar dos resultados de este tipo hay que tener en cuenta la posibilidad de error en cada uno. Cuando los tamaños de las encuestas son prácticamente iguales, el error estándar de sus diferencia se puede encontrar mediante un teorema pitagórico: tomar la raíz cuadrada de la suma de sus cuadrados. Por ejemplo, si un año la ME es del 4,1% y otro año la ME es del 3,5%, entonces calcula aproximadamente un margen de error en torno a $\sqrt{3.5^2+4.1^2}$ = 5,4% para la diferencia de esos dos resultados. En este caso, se puede concluir con un 95% de confianza que el población El NPS cambia de una encuesta a la siguiente siempre que la diferencia entre los resultados de las dos encuestas sea del 10,8% o superior.

Cuando se comparan los resultados de muchas encuestas a lo largo del tiempo, los métodos más sofisticados pueden ayudar, porque hay que hacer frente a muchos márgenes de error distintos. Cuando los márgenes de error son todos bastante similares, una regla empírica es considerar un cambio de tres o más ME como "significativo". En este ejemplo, si los ME rondan el 4%, entonces un cambio de alrededor del 12% o más en un periodo de varias encuestas debería llamar su atención y los cambios más pequeños podrían descartarse válidamente como un error de la encuesta. En cualquier caso, el análisis y las reglas empíricas que se ofrecen aquí suelen ser un buen punto de partida para pensar en lo que pueden significar las diferencias entre las encuestas.

Tenga en cuenta que no puede calcular el margen de error sólo a partir del NPS observado: depende del número observado de cada uno de los tres tipos de encuestados. Por ejemplo, si casi todo el mundo es "pasivo", el NPS de la encuesta estará cerca de $0$ con un pequeño margen de error. Si la población se polariza por igual entre promotores y detractores, el NPS de la encuesta seguirá estando cerca de $0$ pero tendrá el mayor margen de error posible (igual a $1/\sqrt{n}$ en una muestra de $n$ personas).

3voto

Martin Puntos 16

También puede utilizar el estimador de la varianza para las variables continuas. En realidad, lo preferiría sobre el estimador de la varianza para la variable aleatoria discreta, ya que existe una corrección bien conocida para calcular la varianza de la muestra: https://en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviation Como otros han señalado, la solución de Whubers se basa en fórmulas de población. Sin embargo, dado que está realizando una encuesta, estoy bastante seguro de que ha extraído una muestra, por lo que recomendaría utilizar el estimador insesgado (dividiendo la suma de cuadrados por n-1, no sólo por n). Por supuesto, para tamaños de muestra grandes, la diferencia entre el estimador sesgado y el insesgado es prácticamente inexistente.

También recomendaría utilizar un procedimiento de prueba t, si tiene tamaños de muestra medianos, en lugar de utilizar el enfoque de puntuación z: https://en.wikipedia.org/wiki/Student 's_t-test

@whuber: ya que otros lo han preguntado también: ¿cómo se calcularía el estimador muestral insesgado de la varianza/sd para su enfoque de variable discreta aleatoria? He intentado encontrarlo por mi cuenta, pero no he tenido éxito. Gracias.

1voto

Jason Ritzke Puntos 41

Puede utilizar potencialmente bootstrap para simplificar sus cálculos. En R el código sería:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}

npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X