Demostrar la equivalencia de las siguientes dos fórmulas de correlación de Spearman

Question

De wikipedia, análisis de correlación de Spearman se calcula mediante la conversión de las variables de $X_i$ $Y_i$ en el ranking de las variables de $x_i$$y_i$, y, a continuación, el cálculo de correlación de Pearson entre el clasificado variables:

Sin embargo, el artículo continúa diciendo que si no hay lazos entre las variables$X_i$$Y_i$, la fórmula anterior es equivalente a

donde $d_i = y_i - x_i$, la diferencia en los rangos.

Alguien puede dar una prueba de esto, por favor? No tengo acceso a los libros de texto que hace referencia el artículo de la wikipedia.

Answer 1

$\rho = \frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_i (x_i-\bar{x})^2 \sum_i(y_i-\bar{y})^2}}$

Ya no hay lazos, el $x$'s y $y$'s consiste en los enteros de $1$ $n$incluido.

Por lo tanto podemos reescribir el denominador:

$\frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sum_i (x_i-\bar{x})^2}$

Pero el denominador es sólo una función de $n$:

$\sum_i (x_i-\bar{x})^2 = \sum_i x_i^2 - n\bar{x}^2 \\ \quad= \frac{n(n + 1)(2n + 1)}{6} n(\frac{(n + 1)}{2})^2\\ \quad= n(n + 1)(\frac{(2n + 1)}{6} - \frac{(n + 1)}{4})\\ \quad= n(n + 1)(\frac{(8n + 4-6n-6)}{24})\\ \quad= n(n + 1)(\frac{(n -1)}{12})\\ \quad= \frac{n(n^2 - 1)}{12}$

Ahora veamos el numerador:

$\sum_i(x_i-\bar{x})(y_i-\bar{y})\\ \quad=\sum_i x_i(y_i-\bar{y})-\sum_i\bar{x}(y_i-\bar{y}) \\ \quad=\sum_i x_i y_i-\bar{y}\sum_i x_i-\bar{x}\sum_iy_i+n\bar{x}\bar{y} \\ \quad=\sum_i x_i y_i-n\bar{x}\bar{y} \\ \quad= \sum_i x_i y_i-n(\frac{n+1}{2})^2 \\ \quad= \sum_i x_i y_i- \frac{n(n+1)}{12}3(n +1) \\ \quad= \frac{n(n+1)}{12}.(-3(n +1))+\sum_i x_i y_i \\ \quad= \frac{n(n+1)}{12}.[(n-1) - (4n+2)] + \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} - n(n+1)(2n+1)/6 + \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} -\sum_i x_i^2+ \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} -\sum_i (x_i^2+ y_i^2)/2+ \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} - \sum_i (x_i^2 - 2x_i y_i + y_i^2) /2\\ \quad= \frac{n(n+1)(n-1)}{12} - \sum_i(x_i - y_i)^2/2\\ \quad= \frac{n(n^2-1)}{12} - \sum d_i^2/2$

Numerador/Denominador

$a= \frac{n(n+1)(n-1)/12 - \sum d_i^2/2}{n(n^2 - 1)/12}\\ \quad= {\frac {n(n^2 - 1)/12 -\sum d_i^2/2}{n(n^2 - 1)/12}}\\ \quad= 1- {\frac {6 \sum d_i^2}{n(n^2 - 1)}}\,$.

Por lo tanto

$\rho = 1- {\frac {6 \sum d_i^2}{n(n^2 - 1)}}.$

Answer 2

Vemos que en la segunda fórmula no aparece la distancia Euclídea al cuadrado entre los dos (en el puesto) variables: $D^2= \Sigma d_i^2$. La intuición decisiva en el inicio será la forma en que $D^2$ podría estar relacionado con la $r$. Es claramente relacionados a través de el teorema del coseno. Si tenemos dos variables centrado, entonces el coseno en el vinculado teorema de la fórmula es igual a $r$ (puede ser demostrado fácilmente, vamos a tomar aquí como se concede). Y $h^2$ (el cuadrado de la norma Euclídea) es $N \sigma^2$, la suma de cuadrados en un centrada en la variable. Por lo que el teorema de la fórmula se parece a esto: $D_{xy}^2 = N\sigma_x^2+N\sigma_y^2-2\sqrt N\sigma_x \sqrt N \sigma_yr$. Por favor, tenga en cuenta también otra cosa importante (que pueden ser probadas por separado): Cuando los datos son los rangos, $D^2$ es el mismo para el centrado y no centrada en los datos.

Además, puesto que las dos variables se clasificaron, sus varianzas son iguales, $\sigma_x=\sigma_y=\sigma$, lo $D^2 = 2N\sigma^2-2N\sigma^2r$.

$r= 1-\frac{D^2}{2N\sigma^2}$. Recordemos que clasificó a los datos provienen de una distribución uniforme discreta tener varianza $(N^2-1)/12$. Sustituyendo en la fórmula de hojas de $r= 1-\frac{6D^2}{N(N^2-1)}$.

Answer 3

El álgebra es más sencillo de lo que podría parecer a primera vista.

En mi humilde opinión, hay poco beneficio o la penetración alcanzada por machacar las manipulaciones algebraicas. En su lugar, una verdadera identidad simple muestra por qué el cuadrado de las diferencias puede ser utilizado para expresar (Pearson habitual) coeficiente de correlación. Aplicando esto al caso especial en el que los datos son rangos produce el resultado. Exhibe la hasta ahora misteriosa coeficiente de

$$\frac{6}{n(n^2-1)}$$

como la mitad de la inversa de la varianza de las filas $1, 2, \ldots, n$. (Cuando los lazos están presentes, este coeficiente adquiere una fórmula más complicada, pero todavía ser la mitad de la inversa de la varianza de los rangos asignados a los datos).

Una vez que usted haya visto y entendido esto, la fórmula se convierte en memorable. Similar (pero más complejos), las fórmulas que se encargan de lazos, se muestran en estadística no paramétrica pruebas, como la de Wilcoxon rank sum test, o aparecen en la estadística espacial (como el de Moran I, Geary C, y otros) se convierten al instante comprensible.

---

Considere la posibilidad de cualquier conjunto de pares de datos $(X_i,Y_i)$, con los medios de $\bar X$ $\bar Y$ y las varianzas de las $s_X^2$$s_Y^2$. Por recentering las variables en sus medios de $\bar X$ $\bar Y$ y el uso de sus desviaciones estándar $s_2$ $s_Y$ como unidades de medida, los datos serán re-expresado en términos de la estandarización de los valores de

$$(x_i, y_i) = \left(\frac{X_i-\bar X}{s_X}, \frac{Y_i-\bar Y}{s_Y}\right).$$

Por definición, el coeficiente de correlación de Pearson de los datos originales es el producto medio de la estandarización de los valores,

$$\rho = \frac{1}{n}\sum_{i=1}^n x_i y_i.$$

La Polarización de la Identidad se relaciona productos a cuadrados. Para dos números de $x$ $y$ afirma

$$xy = \frac{1}{2}\left(x^2 + y^2 - (x-y)^2\right),$$

que se comprueba fácilmente. Aplicando esto a cada término de la suma da

$$\rho = \frac{1}{n}\sum_{i=1}^n \frac{1}{2}\left(x_i^2 + y_i^2 - (x_i-y_i)^2\right).$$

Debido a que el $x_i$ $y_i$ han sido estandarizados, el promedio de los cuadrados son la unidad, de donde

$$\rho = \frac{1}{2}\left(1 + 1 - \frac{1}{n}\sum_{i=1}^n (x_i-y_i)^2\right) = 1 - \frac{1}{2}\left(\frac{1}{n}\sum_{i=1}^n (x_i-y_i)^2\right).$$

El coeficiente de correlación difiere de su valor máximo posible, $1$, por la mitad de la media del cuadrado de la diferencia de los datos estandarizados.

Esta es una fórmula universal para la correlación, válido, no importa lo que los datos originales fueron (siempre sólo que ambas variables tienen un valor distinto de cero desviaciones estándar). (Fieles lectores de este sitio reconocerá esto como está estrechamente relacionada con la caracterización geométrica de la covarianza se describe y se ilustra en ¿Cómo explicar la covarianza para alguien que entiende sólo la media?.)

---

En el caso especial donde la $X_i$ $Y_i$ son distintos rangos, cada uno es una permutación de la misma secuencia de números de $1,2 , \ldots, n$. Por lo tanto $\bar X = \bar Y = (n+1)/2$ y, con un poco de cálculo nos encontramos

$$s_X^2 = s_Y^2 = \frac{1}{n} \sum_{i=1}^n (i - (n+1)/2)^2 = \frac{n^2 - 1}{12}$$

(que, por suerte, es distinto de cero cada vez que $n\gt 1$). Por lo tanto

$$(x_i - y_i)^2 = \frac{\left((X_i - (n+1)/2)- (Y_i - (n+1)/2)\right)^2}{(n^2-1)/12} = \frac{12(X_i-Y_i)^2}{n^2-1}.$$

Este bonito simplificación se produjo porque el $X_i$ $Y_i$ tienen la misma media y desviación estándar: la diferencia de sus medios, por lo tanto desapareció y el producto $s_X s_Y$ se convirtió $s_X^2$ que no implica raíces cuadradas.

Conectando en la fórmula para $\rho$ da

$$\rho = 1 - \frac{6}{n(n^2-1)}\sum_{i=1}^n (X_i - Y_i)^2.$$

Answer 4

Los estudiantes de secundaria pueden ver el PMCC y de correlación de Spearman de las fórmulas de años antes de que el álgebra habilidades para manipular la notación sigma, a pesar de que puede conocer perfectamente el método de diferencias finitas para la deducción de la ecuación polinómica para una secuencia. Así, he tratado de escribir una "high school" a prueba de equivalencia: encontrar el denominador usando diferencias finitas, y minimizar la manipulación algebraica de la suma en el numerador. Dependiendo de los estudiantes de la prueba que se presenta, puede que prefieren este enfoque para el numerador, pero se combinan con más método convencional para el denominador.

Denominador, $\sqrt{\sum_i (x_i-\bar{x})^2 \sum_i(y_i-\bar{y})^2}$

Sin ataduras, los datos son los rangos de $\{1, 2,\dots, n\}$ en un poco de orden, por lo que es fácil demostrar a $\bar{x}=\frac{n + 1}{2}$. Podemos cambiar el orden de la suma de $S_{xx}=\sum_{i=1}^{n} (x_i-\bar{x})^2 = \sum_{k=1}^{n} (k-\frac{n + 1}{2})^2$, aunque con menor grado de los estudiantes probablemente sería escribir esta suma de manera explícita en lugar de en notación sigma. La suma de una ecuación cuadrática en $k$ será cúbicos en $n$, un hecho que los estudiantes se familiaricen con el método de diferencias finitas pueden captar intuitivamente: la diferenciación de un cúbicos produce una ecuación cuadrática, por ello la suma de una ecuación cuadrática produce un cúbicos. La determinación de los coeficientes de la cúbico $f(n)$ es sencillo si los estudiantes son cómodos de manipular $\Sigma$ notación y saber (y recordar!) las fórmulas para $\sum_{k=1}^{n} {k}$$\sum_{k=1}^{n} {k^2}$. Pero también puede ser deducido utilizando diferencias finitas, de la siguiente manera.

Al $n=1$, el conjunto de datos es sólo $\{1\}$, $\bar{x}=1$, por lo $f(1)=(1-1)^2 = 0$.

Para $n=2$, los datos son $\{1, 2\}$, $\bar{x}=1.5$, por lo $f(2)=(1-1.5)^2 + (2-1.5)^2 = 0.5$.

Para $n=3$, los datos son $\{1, 2, 3\}$, $\bar{x}=2$, por lo $f(3)=(1-2)^2 + (2-2)^2 + (3-2)^2 = 2$.

Estos cálculos son bastante breve, y ayudar a reforzar lo que la notación $\sum_{i=1}^{n} (x_i-\bar{x})^2$ medios, y en corto fin de producir, de la diferencia finita de la tabla.

Podemos obtener los coeficientes de $f(n)$ por arranque el método de diferencias finitas como se indica en los enlaces de arriba. Por ejemplo, la constante tercer diferencias indican que nuestra polinomio es de hecho cúbicos, con los principales coeficiente de $\frac{0.5}{3!} = \frac{1}{12}$. Hay un par de trucos para minimizar la monotonía: un bien conocido es el de utilizar la normativa común de las diferencias para extender la secuencia de vuelta a $n=0$, como el conocimiento de $f(0)$ inmediatamente da el coeficiente constante. Otra es tratar de extender la secuencia para ver si $f(n)$ es cero para un entero $n$ - por ejemplo, si la secuencia había sido positiva, pero decreciente, valdría la pena ampliar rightwards a ver si podemos "coger un root", ya que esto hace que la factorización más fácil después. En nuestro caso, la función parece flotar en torno a valores bajos al $n$ es pequeña, así que vamos a extender aún más hacia la izquierda.

Aha! Resulta que nos han sorprendido a todos los tres raíces: $f(-1) = f(0) = f(1) = 0$. Por lo que el polinomio tiene factores de $(n+1)$, $n$, y $(n-1)$. Desde que fue cúbicos debe ser de la forma:

$$f(n) = an(n+1)(n-1)$$

Podemos ver que $a$ debe ser el coeficiente de $n^3$ que ya se ha decidido a ser $\frac{1}{12}$. Como alternativa, debido a $f(2) = 0.5$ tenemos $a(2)(3)(1)=0.5$, lo que lleva a la misma conclusión. La expansión de la diferencia de dos cuadrados:

$$S_{xx} = \frac{n(n^2-1)}{12}$$

Desde el mismo argumento se aplica a $S_{yy}$, el denominador es $\sqrt{S_{xx} S_{yy}} = \sqrt{S_{xx}^2} = S_{xx}$ y hemos terminado. Haciendo caso omiso de mi exposición, este método es sorprendentemente corto. Si uno puede reconocer que el polinomio es cúbico, sólo es necesario para calcular el $S_{xx}$ de los casos $n \in \{1,2,3,4\}$ para establecer la tercera diferencia es de 0,5. A la raíz de los cazadores sólo necesitan extender la secuencia hacia la izquierda a$n=0$$n=-1$, cuando todos los tres raíces. Me tomó un par de minutos para encontrar $S_{xx}$ de esta forma.

Numerador, $\sum_i(x_i-\bar{x})(y_i-\bar{y})$

Tomo nota de la identidad de $(b-a)^2 \equiv b^2 - 2ab + a^2$ que puede ser reorganizado para:

$$ab \equiv \frac{1}{2}\left(a^2 + b^2 - (b-a)^2 \right)$$

Si dejamos $a = x_i - \bar{x} = x_i - \frac{n+1}{2}$ $b = y_i - \bar{y} = y_i - \frac{n+1}{2}$ tenemos la utilidad resultado que $b-a = y_i - x_i = d_i$ debido a que el medio, es idéntica, en cancelar. Esa fue mi intuición para la escritura de la identidad, en primer lugar, quería cambiar de trabajo con el producto de los momentos de la plaza de sus diferencias. Ahora tenemos:

$$(x_i - \bar{x})(y_i - \bar{y}) = \frac{1}{2}\left((x_i - \bar{x})^2 + (y_i - \bar{y})^2 - d_i^2 \right)$$

Con suerte, incluso los estudiantes de seguro de cómo manipular $\Sigma$ notación puede ver cómo recapitulación sobre el conjunto de datos se obtiene:

$$S_{xy} = \frac{1}{2}\left(S_{xx} + S_{yy} - \sum_{i=1}^n{d_i^2}\right)$$

Ya hemos establecido, por el reordenamiento de las sumas, que $S_{yy} = S_{xx}$, lo que nos deja con:

$$S_{xy}=S_{xx} - \frac{1}{2} \sum_{i=1}^n{d_i^2}$$

La fórmula de Spearman coeficiente de correlación está a nuestro alcance!

$$r_S = \frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} = \frac{S_{xx}-\frac{1}{2}\sum_i{d_i^2}}{S_{xx}} = 1 - \frac{\sum_i{d_i^2}}{2S_{xx}}$$

Sustituyendo el anterior resultado que $S_{xx}=\frac{1}{12}n(n^2-1)$ va a terminar el trabajo.

$$r_S = 1 - \frac{\sum_i{d_i^2}}{\frac{2}{12}n(n^2-1)} = 1 - \frac{6\sum_i{d_i^2}}{n(n^2-1)}$$