8 votos

Signo de covarianza y de Rho de Spearman

Alguien ha disponible una prueba de que la covarianza entre dos variables tiene siempre el mismo signo de Rho de Spearman, suponiendo que ambos no son cero, o una explicación / contraejemplo para mostrar por qué este no es el caso?

Estoy hablando de la "población" (teórico) magnitudes, no su muestra de contrapartes. Es decir, para $X, Y$ dos variables aleatorias con funciones de distribución de $F_X, F_Y$, y con todos los momentos, co-momentos, etc, existentes,

$$\text{Cov}(X,Y) = E(XY) - E(X)E(Y)$$ mientras

$$\rho_s(X,Y) = \text{Cov}[F_X(X),F_Y(Y)]$$

Sé que si $X,Y$ son Cuadrante Dependiente ($QD$), positiva o negativamente, este hecho tiene,

$$(X,Y) = QD \implies \text{sign}\left\{\text{Cov}(X,Y)\right\} = \text{sign}\left\{\rho_s(X,Y)\right\}$$

...de nuevo, si ambos no son cero. Pero lo que si $QD$ no se puede establecer o no?

Lo que yo soy, finalmente, después es una prueba de que si $h(Y)$ es un aumento monotónico transformación de $Y$, a continuación, $\text{sign}\left\{\text{Cov}(X,Y)\right\} = \text{sign}\left\{\text{Cov}(X,h(Y))\right\}$. Sé que esto parece fuertemente intuitivo e incluso "auto-evidente", pero no pude encontrar una prueba en cualquier lugar, tampoco me las arreglo para demostrar a mí mismo. Más precisamente, lo que quiero mostrar es que, si ambos no son cero, que no tienen signos opuestos.

Ahora, desde Rho de Spearman es invariante a transformaciones monotónicas tenemos $\rho_s(X,Y) = \rho_s(X,h(Y))$, por lo que una forma de demostrar el "mismo signo" resultado de las covarianzas, será demostrar que la covarianza tiene siempre el mismo signo de Rho de Spearman, por lo tanto esta pregunta.

He encontrado una vieja hermosa expresión de la covarianza debido a W. Hoeffding que trae la $\text{Cov}$ e $\rho_s$ definiciones de "muy cerca", pero yo no podía probar la declaración general sin asumir el Cuadrante de la Dependencia.

Por supuesto, si alguien tiene algo directamente en el "mismo signo" (deseado) resultado de las covarianzas, sería igualmente útil.

ACTUALIZACIÓN
He encontrado esta pregunta , que está relacionado, pero no idénticos. Como ya se mencionó, se modifica mi pregunta como sigue: "se supone que ambas medidas no son cero. Pueden tener signos opuestos?"

3voto

jldugger Puntos 7490

Hay muchos contraejemplos. Pero vamos a abordar la pregunta subyacente:

Lo que yo soy, finalmente, después es una prueba de que si $h$ es un aumento monotónico de transformación, a continuación, $\operatorname{Sign}\{\operatorname{Cov}(X,Y)\}=\operatorname{Sign}\{\operatorname{Cov}(X,h(Y))\}$.

Esto es falso.

El primer contraejemplo es la distribución uniforme discreta $F$ sobre el $(x_i,y_i)$ puntos $(1,8.1), (2,9.1), (3,10.1), (4,11.1), (5,12.1), (6,13.1), (7,0.1),$ aquí representado por el trazado de los siete puntos como los círculos rojos en el panel de la izquierda:

Figures

Considerar a la familia de Box-Cox transformaciones

$$h_p(y) = \frac{y^p - 1}{p\, C} + 1$$

donde la constante $C$ es el elegido para hacer de los valores de $h_p(y_i)$ comparables a los de $y$ (por ejemplo, mediante el establecimiento $C$ a de la $p-1$ poder de la media geométrica de la $y_i$) y $1$ se añade a $h_1$ la identidad. Estos son todos los monótona; se muestra un ejemplo para $p=2$ en el panel de la derecha. Sus efectos sobre la covarianza se muestran en el panel central. Muestra un cambio de covarianza negativa (debido a que periféricas punto en la parte inferior izquierda) positiva de la covarianza (debido a la transformación que hace el punto justo un poco menos de la periferia, la reducción de su efecto negativo en el caso contrario positiva fuerte covarianza de todos los otros datos).

En particular, para ser perfectamente explícito, se puede calcular que

$$h(y_i,2) = (7.0, 8.6, 10.4, 12.4, 14.5, 16.8, 0.908),$$

dando a $\operatorname{Cov}(x_i,y_i) = -7/3 \lt 0$ e $\operatorname{Cov}(x_i, h(y_i,2))=0.39217 \gt 0.$ puntos $(x_i, h(y_i,2))$ se trazan como hueco triángulos azules en el panel de la izquierda.

La segunda contraejemplo es un continuo de la versión de la primera. Deje $(U,V)$ tener cualquier distribución continua apoyado en $[-1,1]\times[-1,1].$ Para cualquier número real $\epsilon$ definir

$$(X_\epsilon, Y_\epsilon) = (X,Y) + \epsilon(U,V).$$

Siempre $\epsilon\ne 0,$ $(X_\epsilon, Y_\epsilon)$ tiene una distribución continua (ver Es la suma de una variable aleatoria continua y mixta variable aleatoria continua?). Siempre $|\epsilon| \lt 1/10,$ el apoyo de $(X_\epsilon, Y_\epsilon)$ está en el primer cuadrante (estrictamente positivo en ambas variables), lo que implica el Box-Cox transformaciones se pueden aplicar a $Y_\epsilon.$ puede realizar los cálculos, lo que confirma que la covarianza de $(X_\epsilon,Y_\epsilon)$ es una función continua de $\epsilon.$ Ergo, para lo suficientemente pequeño $\epsilon,$ el primer contraejemplo muestra la covarianza de $(X_\epsilon,Y_\epsilon)$ es negativo, mientras que de $(X_\epsilon, h_2(Y_\epsilon))$ es positivo, QED.

1voto

Dave Puntos 76

Yo digo que pueden tener signos opuestos.

Veamos la siguiente simulación.

 # Set a random seed so that everyone can get the same results
#     
set.seed(1)

# Import the library that simulates correlated bivariate data
#  
library(MASS) 

# Simulate bivariate normal data with standard normal 
# marginals and 0.9 Pearson correlation. To those 99 
# observations, add a gigantic outlier completely out 
# of the mainstream of the other 99 points. This is why 
# we end up with negative covariance.
#  
X <- rbind(mvrnorm(99,c(0,0),matrix(c(1,0.9,0.9,1),2,2)),c(-10000,10000)) 

# Plot the data
#  
plot(X[,1],X[,2]) 

# Calculate the covariance of the sample. When we regard 
# the simulated data as a discrete population, this is 
# the population covariance.
#  
cov(X[,1],X[,2]) # comes out negative, as the plot suggests

# Calculate the sample Spearman correlation, which is 
# positive, since 99% of the data follow an upward trend.
#  
cor(X[,1],X[,2],method='spearman') # comes out positive
 

Sin embargo, podemos tomar los datos simulados como una población discreta.

 # Apply the empirical CDF function to perform the probability
# integral transform. If we regard the sampled data as a
# discrete population, we have tricked R into calculating the
# population Spearman correlation.
#  
cov(ecdf(X[,1])(X[,1]),ecdf(X[,2])(X[,2])) # Positive, same value as before
 

El "ecdf" (CDF empírico) engaña a R para hacer que la población sea un CDF de esta variable discreta, así que creo que estamos trabajando a nivel de la población y que esto es un contraejemplo.

1voto

Jeff Bauer Puntos 236

Para mejorar el valor de este hilo voy a exponer por qué Cuadrante de la Dependencia implica que
a) la Covarianza tendrá el mismo signo de Rho de Spearman si ambos no son cero
b) El signo de la covarianza no es afectada por la monótona estrictamente creciente transformaciones, si no es distinto de cero.

Yo la muestra continua de las distribuciones con las densidades, pero esto no es una condición crítica.

Deje $X$, $Y$ dos variables aleatorias con distribución conjunta de la función de $F_{XY}(x,y)$, marginal funciones de distribución de $F_X(x), F_Y(y)$ y marginales de la densidad/probabilidad de masa funciones de $f_X(x), f_Y(y)$. Entonces tenemos

\begin{cases} \text{Positive Quadrant Dependence iff} \;\;\; F_{XY}(x,y) - F_X(x)F_Y(y) \geq 0\;\;\; \forall (x,y)\\ \text{Negative Quadrant Dependence iff}\;\;\ F_{XY}(x,y) - F_X(x)F_Y(y) \leq 0\;\;\; \forall (x,y) \end{casos}

Tenga en cuenta que la condición imprescindible es el "para todos los $(x,y)$" calificador.

Ahora, la "bella fórmula de la covarianza de Hoeffding" es

$$\text{Cov}(X,Y) = \int\int_{S_{XY}}[F_{XY}(x,y) - F_X(x)F_Y(y)] dx dy$$

donde $S_{XY}$ es el apoyo a las articulaciones. Por otro lado, Rho de Spearman puede ser expresado como

$$\rho_S(X,Y) = 12\cdot \int\int_{S_{XY}}f_x(x)f_y(y)[F_{XY}(x,y) - F_X(x)F_Y(y)] dx dy$$

Aquellos que recordar que $dF(x) = f(x)dx$ entender por qué la existencia de densidades no es crítica. Pero es de aclarar: la compactación de $[F_{XY}(x,y) - F_X(x)F_Y(y)] \equiv QD(x,y)$ hemos

$$\text{Cov}(X,Y) = \int\int_{S_{XY}}QD(x,y) dx dy,\;\;\;\;\;\rho_S(X,Y) = 12\cdot \int\int_{S_{XY}}f_x(x)f_y(y)QD(x,y) dx dy$$

Vemos que la covarianza "sumas" las cantidades $QD(x,y)$ sobre el conjunto de apoyo "ponderado", mientras que la Rho de Spearman suma ponderada por el producto de las densidades, $f_x(x)f_y(y)$ (que es siempre no negativo). Si en el Cuadrante de la Dependencia se mantiene, entonces, tanto en las medidas de "suma" ya no son cosas negativas solo o no positivo de las cosas.

Así

a) en Virtud de $QD$, la Covarianza tendrá el mismo signo de Rho de Spearman si ambos no son cero:

$$\text{sign}\left\{\text{Cov}(X,Y)\right\} = \text{sign}\left\{\rho_s(X,Y)\right\}$$

Además, se debe considerar una monótona estrictamente creciente transformación de $Y$, $h(Y)$. Spearmans Rho es invariante bajo una transformación tan

$$\rho_S(X,Y) = \rho_S(X,h(Y))$$

Bajo Cuadrante de la Dependencia, tendremos, de nuevo, en ambas medidas no son cero,

$$\text{sign}\left\{\text{Cov}(X,h(Y))\right\} = \text{sign}\left\{\rho_s(X,h(Y))\right\}$$

La vinculación de signo igualdades obtenemos entonces

$$\text{sign}\left\{\text{Cov}(X,Y)\right\} = \text{sign}\left\{\text{Cov}(X,h(Y))\right\}$$

Como implícita en las otras respuestas, el resultado contraintuitivo aquí es que en el Cuadrante de la Dependencia no se puede quitar: si no se sostiene, entonces tenemos ninguna garantía de que una estrictamente creciente transformación de una variable, se conserva el signo de la covarianza. Por lo tanto, "bastante lógica informal" argumentos como que "ya que, cuando se $Y$ tiende a aumentar de manera no $h(Y)$, se deduce que, si $X$ covaries positivamente con $Y$, se covarían positivamente también con $h(Y)$" están mal "sigue" sólo si $QD$ sostiene.

Formalmente, se puede ver esto mediante el establecimiento $Z= h(Y), h'(y) >0$ , y la observación de que

$$F_Z(z) = F_Y(h^{-1}(z)),\;\;\;F_{XZ}(x,z) = F_{XY}(x,h^{-1}(z)), dz = h'(y)dy$$. Entonces tenemos

$$\text{Cov}(X,Z) = \int\int_{S_{XZ}}[F_{XZ}(x,z) - F_X(x)F_Z(z)] dx dz$$

$$= \int\int_{S_{XZ}}[F_{XY}(x,h^{-1}(z)) - F_X(x)F_Y(h^{-1}(z))] dx dz$$ y, a continuación, hacer un cambio de variable de $Z$ a $Y$, para obtener

$$\text{Cov}(X,Z) = \int\int_{S_{X,h(Y)}}h'(y)\cdot QD(x,y)dx dy$$

Si $QD$ no se sostiene, significa que algunos $QD(x,y)$ serán positivos y algunos negativos. Entonces, el hecho de que, a decir $\text{Cov}(X,Y) >0$ sí sola no puede garantizar que $\text{Cov}(X,Z) >0$ también, ya que, aquí, el peso de la anterior integrando por $h'(y)$, que aunque estrictamente positivo no es una constante, por lo que puede ser el caso de que los pesos de manera desproporcionada a los más los $QD(x,y)$ que son negativos, de los que son positivos, lo que resulta en general en un valor negativo. También, si el apoyo a las articulaciones $S_X \times S_{h(Y)}$ no es el mismo conjunto como $S_X \times S_Y$, esto puede también puede afectar el resultado final para $\text{Cov}(X,Z)$.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X