¿Cómo se calcula una desviación estándar ponderada? ¿En Excel?

Question

Por lo tanto, tengo un conjunto de datos de porcentajes como este:

100   /   10000   = 1% (0.01)
2     /     5     = 40% (0.4)
4     /     3     = 133% (1.3) 
1000  /   2000    = 50% (0.5)

Quiero encontrar la desviación estándar de los porcentajes, pero ponderada por su volumen de datos. Es decir, el primer y el último punto de datos deberían dominar el cálculo.

¿Cómo lo hago? ¿Y hay una forma sencilla de hacerlo en Excel?

Answer 1

El fórmula de la desviación estándar ponderada es:

$$ \sqrt{ \frac{ \sum_{i=1}^N w_i (x_i - \bar{x}^*)^2 }{ \frac{(M-1)}{M} \sum_{i=1}^N w_i } },$$

donde

$N$ es el número de observaciones.

$M$ es el número de pesos no nulos.

$w_i$ son los pesos

$x_i$ son las observaciones.

$\bar{x}^*$ es la media ponderada.

Recuerda que la fórmula de la media ponderada es

$$\bar{x}^* = \frac{\sum_{i=1}^N w_i x_i}{\sum_{i=1}^N w_i}.$$

Utilice los pesos adecuados para obtener el resultado deseado. En su caso, le sugiero que utilice $\frac{\mbox{Number of cases in segment}}{\mbox{Total number of cases}}$ .

Para hacerlo en Excel, hay que calcular primero la media ponderada. A continuación, calcule la $(x_i - \bar{x}^*)^2$ en una columna separada. El resto debe ser muy fácil.

Answer 2

Las fórmulas están disponibles en varios lugares, incluyendo Wikipedia .

La clave está en darse cuenta de que depende de lo que signifiquen los pesos . En particular, obtendrá respuestas diferentes si las ponderaciones son frecuencias (es decir, sólo intenta evitar la suma total), si las ponderaciones son de hecho la varianza de cada medida, o si son sólo algunos valores externos que impone a sus datos.

En tu caso, superficialmente parece que los pesos son frecuencias pero no son . Usted genera sus datos a partir de frecuencias, pero no es una simple cuestión de tener 45 registros de 3 y 15 registros de 4 en su conjunto de datos. En su lugar, necesitas utilizar el último método. (En realidad, todo esto es una tontería usted realmente ¡necesita utilizar un modelo más sofisticado del proceso que está generando estos números! Al parecer, usted no tener algo que escupe números distribuidos normalmente, por lo que caracterizar el sistema con la desviación estándar no es lo correcto).

En cualquier caso, la fórmula de la varianza (a partir de la cual se calcula la desviación estándar de forma normal) con pesos de "fiabilidad" es

$${ \sum {w_i (x_i - x^*)^2} \over {\sum w_i - {\sum w_i^2 \over \sum w_i }} }$$

donde $x^* = \sum w_i x_i / \sum w_i$ es la media ponderada.

No tienes una estimación de los pesos, que supongo que quieres tomar para que sean proporcionales a la fiabilidad. Tomar los porcentajes de la forma en que lo estás haciendo va a hacer que el análisis sea complicado incluso si son generados por un proceso de Bernoulli, porque si obtienes una puntuación de 20 y 0, tienes un porcentaje infinito. La ponderación por la inversa del SEM es algo común y a veces óptimo. Quizás debas utilizar una estimación bayesiana o Intervalo de puntuación de Wilson .

Answer 3

=SQRT(SUM(G7:G16*(H7:H16-(SUMPRODUCT(G7:G16,H7:H16)/SUM(G7:G16)))^2)/
     ((COUNTIFS(G7:G16,"<>0")-1)/COUNTIFS(G7:G16,"<>0")*SUM(G7:G16)))

Columna G son pesos, Columna H son valores

Answer 4

Si tratamos las ponderaciones como probabilidades, entonces las construimos de la siguiente manera: $$p_i=\frac{v_i}{\sum_iv_i},$$ donde $v_i$ - volumen de datos.

A continuación, obviamente la media ponderada es $$\hat\mu=\sum_ip_ix_i,$$ y la varianza: $$\hat\sigma^2=\sum_ip_i(x_i-\hat\mu)^2$$

Answer 5

Ya sé que es tarde, pero en referencia a la insistencia de Whuber en una justificación autorizada del término (M-1)/M para una estimación no sesgada, tal vez la justificación del Prof. James Kirchner, descargada actualmente en http://seismo.berkeley.edu/~kirchner/Toolkits/Toolkit_12.pdf que hace referencia a

Bevington, P. R., Data Reduction and Error Analysis for the Physical Sciences, 336 pp.,
McGraw-Hill, 1969

¿lo hará?

El profesor Kirchner distingue entre

1. "Caso I" en el que algunos puntos son más importantes que otros (de ahí la ponderación) pero se supone que las incertidumbres asociadas a cada punto son las mismas
2. "Caso II" en el que los puntos son igualmente importantes pero las incertidumbres asociadas a cada punto no son las mismas.

Para el comentario de FabioSpaghetti de ayer, el documento enlazado anteriormente también muestra cómo calcular el error estándar.