Obligado por la correlación de tres variables aleatorias

Question

Hay tres variables aleatorias, $x,y,z$. Las tres correlaciones entre las tres variables son las mismas. Es decir,

$$\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z)$$

¿Cuál es la más ajustada obligado puede dar para la $\rho$?

Answer 1

El común de correlación $\rho$ puede tener valor de $+1$ pero no $-1$. Si $\rho_{X,Y}= \rho_{X,Z}=-1$, $\rho_{Y,Z}$ no puede igualar $-1$, pero en realidad es $+1$. El valor más pequeño de la común de correlación de tres variables aleatorias es $-\frac{1}{2}$. De manera más general, el mínimo común correlación de $n$ variables aleatorias es $-\frac{1}{n-1}$ cuando, consideradas como vectores, que están en los vértices de un simplex (de dimensión $n-1$) en $n$espacio tridimensional.

Considere la posibilidad de la varianza de la suma de $n$ unidad de varianza de las variables aleatorias $X_i$. Tenemos que $$\begin{align*} \operatorname{var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{var}(X_i) + \sum_{i=1}^n\sum_{j\neq i}^n \operatorname{cov}(X_i,X_j)\\ &= n + \sum_{i=1}^n\sum_{j\neq i}^n \rho_{X_i,X_j}\\ &= n + n(n-1)\bar{\rho} \tag{1} \end{align*}$$ donde $\bar{\rho}$ es el valor promedio de la $\binom{n}{2}$coeficientes de correlación. Pero desde $\operatorname{var}\left(\sum_i X_i\right) \geq 0$, podemos obtener fácilmente a partir de $(1)$ que $$\bar{\rho} \geq -\frac{1}{n-1}.$$

Así, el valor promedio de un coeficiente de correlación es es $-\frac{1}{n-1}$. Si todos los coeficientes de correlación tienen el mismo valor de $\rho$, entonces su media también es igual a $\rho$, por lo que tenemos que $$\rho \geq -\frac{1}{n-1}.$$ Es posible que las variables aleatorias para que el común valor de correlación de $\rho$ es igual a $-\frac{1}{n-1}$? Sí. Supongamos que el $X_i$ son no correlacionados la unidad y la varianza de las variables aleatorias y establecer $Y_i = X_i - \frac{1}{n}\sum X_i$. A continuación, $E[Y_i]=0$, $\displaystyle \operatorname{var}(Y_i) = \left(\frac{n-1}{n}\right)^2 + (n-1)\left(\frac{1}{n}\right)^2 = \frac{n-1}{n}$ y $$\operatorname{cov}(Y_i,Y_j) = -2\left(\frac{n-1}{n}\right)\left(\frac{1}{n}\right) + (n-2)\left(\frac{1}{n}\right)^2 = -\frac{1}{n}$$ dando $$\rho_{Y_i,Y_j} = \frac{\operatorname{cov}(Y_i,Y_j)}{\sqrt{\operatorname{var}(Y_i)\operatorname{var}(Y_j)}} =\frac{-1/n}{(n-1)/n} = -\frac{1}{n-1}.$$ Por lo tanto el $Y_i$ son variables aleatorias alcanzar el mínimo común valor de correlación de $-\frac{1}{n-1}$. Nota, por cierto, de que $\sum_i Y_i = 0$, y así, consideradas como vectores, las variables aleatorias se encuentran en una $(n-1)$-dimensiones hyperplane de $n$espacio tridimensional.

Answer 2

La más ajustada posible obligado es $-1/2 \le \rho \le 1$. Todos estos valores pueden aparecen en realidad-no son imposibles.

Para mostrar que no hay nada especialmente profunda o misterioso sobre el resultado, esta respuesta se presenta en primer lugar una completamente primaria de la solución, que requiere sólo el hecho obvio de que las varianzas--el ser de los valores esperados de las plazas--debe ser no negativo. Esto es seguido por una solución general (que utiliza un poco más sofisticado algebraica de los hechos).

Primaria de la solución

La varianza de cualquier combinación lineal de $x,y,z$ debe ser no negativo. Deje que las variaciones de estas variables se $\sigma^2, \tau^2,$$\upsilon^2$, respectivamente. Todos son distintos de cero (de lo contrario, algunas de las correlaciones no sería definido). El uso de las propiedades básicas de las variaciones de podemos calcular

$$0 \le \text{Var}(\alpha x/\sigma + \beta y/\tau + \gamma z/\upsilon) = \alpha^2 +\beta^2+\gamma^2 + 2\rho(\alpha\beta+\beta\gamma+\gamma\alpha)$$

para todos los números reales $(\alpha, \beta, \gamma)$.

Asumiendo $\alpha+\beta+\gamma\ne 0$, un poco de manipulación algebraica implica esto es equivalente a

$$\frac{-\rho}{1-\rho} \le \frac{1}{3} \left(\frac{\sqrt{(\alpha^2+\beta^2+\gamma^2)/3}}{(\alpha+\beta+\gamma)/3}\right)^2.$$

El cuadrado de término en el lado derecho es la relación de dos medios de $(\alpha, \beta, \gamma)$. La escuela primaria de energía significa que la desigualdad (con pesas $(1/3, 1/3, 1/3)$) afirma que la relación no puede exceder $1$ (y será igual a $1$ al $\alpha=\beta=\gamma\ne 0$). Un poco más de álgebra implica entonces

$$\rho \ge -1/2.$$

El ejemplo claro de los $n=3$ por debajo (la participación de trivariate Normal de las variables de $(x,y,z)$) muestra que todos estos valores, $-1/2 \le \rho \le 1$, en realidad se presentan como las correlaciones. En este ejemplo se utiliza sólo la definición multivariante de las Normales, pero de lo contrario se invoca ningún resultado de un Cálculo o Álgebra Lineal.

Solución General

Descripción

Cualquier matriz de correlación es la matriz de covarianza de las variables aleatorias estandarizadas, de donde--como todas las matrices de correlación, debe ser positiva semi-definida. Equivalentemente, sus autovalores son no negativos. Esto impone una condición simple en $\rho$: no debe ser menos de $-1/2$ (y, por supuesto, no puede exceder $1$). Por el contrario, cualquiera de dichas $\rho$ corresponde a la matriz de correlación de algunos trivariate distribución, demostrando que estos límites son los más estrechos posibles.

---

Derivación de las condiciones en las $\rho$

Considere la posibilidad de la $n$ $n$ matriz de correlación con todas las de la diagonal de valores igual a $\rho.$ (La pregunta se refiere al caso $n=3,$, pero esta generalización no es más difícil de analizar.) Vamos a llamar a $\mathbb{C}(\rho, n).$, Por definición, $\lambda$ es un autovalor de siempre existe un vector distinto de cero $\mathbf{x}_\lambda$ tal que

$$\mathbb{C}(\rho,n) \mathbf{x}_\lambda = \lambda \mathbf{x}_\lambda.$$

Estos autovalores son fáciles de encontrar en el presente caso, debido a que

1. Dejando $\mathbf{1} = (1, 1, \ldots, 1)'$, calcular que

   $$\mathbb{C}(\rho,n)\mathbf{1} = (1+(n-1)\rho)\mathbf{1}.$$

2. Dejando $\mathbf{y}_j = (-1, 0, \ldots, 0, 1, 0, \ldots, 0)$ $1$ sólo en el $j^\text{th}$ (para $j = 2, 3, \ldots, n$), calcular que

   $$\mathbb{C}(\rho,n)\mathbf{y}_j = (1-\rho)\mathbf{y}_j.$$

Debido a que el $n$ vectores propios encontrado hasta ahora cubren la totalidad de la $n$ espacio tridimensional (prueba: una simple reducción de la fila muestra el valor absoluto de su determinante es igual a $n$, lo cual es distinto de cero), que constituyen la base de todos los vectores propios. Por tanto, hemos encontrado todos los autovalores y se determinó que son o $1+(n-1)\rho$ o $1-\rho$ (el último, con multiplicidad $n-1$). Además de la conocida desigualdad de $-1 \le \rho \le 1$ satisfechos por todas las correlaciones, de no negatividad del primer autovalor implica, además,

$$\rho \ge -\frac{1}{n-1}$$

mientras que la no-negatividad de la segunda autovalor no impone nuevas condiciones.

---

La prueba de suficiencia de las condiciones

Las implicaciones de trabajar en dos direcciones: la proporcionada $-1/(n-1)\le \rho \le 1,$ la matriz $\mathbb{C}(\rho, n)$ es no negativa definida y por lo tanto es válido matriz de correlación. Es, por ejemplo, la matriz de correlación para una distribución multinormal. Específicamente, escribir

$$\Sigma(\rho, n) = (1 + (n-1)\rho)\mathbb{I}_n - \frac{\rho}{(1-\rho)(1+(n-1)\rho)}\mathbf{1}\mathbf{1}'$$

por la inversa de a $\mathbb{C}(\rho, n)$ al $-1/(n-1) \lt \rho \lt 1.$ Por ejemplo, cuando se $n=3$

$$\color{color gris}{\Sigma(\rho, 3) = \frac{1}{(1-\rho)(1+2\rho)} \left( \begin{array}{ccc} \rho +1 & -\rho & -\rho \\ -\rho & \rho +1 & -\rho \\ -\rho & -\rho & \rho +1 \\ \end{array} \right)}.$$

Deje que el vector de variables aleatorias $(X_1, X_2, \ldots, X_n)$ tienen la función de distribución de

$$f_{\rho, n}(\mathbf{x}) = \frac{\exp\left(-\frac{1}{2}\mathbf{x}\Sigma(\rho, n)\mathbf{x}'\right)}{(2\pi)^{n/2}\left((1-\rho)^{n-1}(1+(n-1)\rho)\right)^{1/2}}$$

donde $\mathbf{x} = (x_1, x_2, \ldots, x_n)$. Por ejemplo, cuando se $n=3$ esto equivale a

$$\color{color gris}{\frac{1}{\sqrt{(2\pi)^{3}(1-\rho)^2(1+2\rho)}} \exp\left(-\frac{(1+\rho)(x^2+y^2+z^2) - 2\rho(xy+yz+zx)}{2(1-\rho)(1+2\rho)}\right)}.$$

La matriz de correlación para estas $n$ variables aleatorias es $\mathbb{C}(\rho, n).$

Los contornos de las funciones de densidad de $f_{\rho,3}.$ De izquierda a derecha, $\rho=-4/10, 0, 4/10, 8/10$. Nota cómo la densidad de los cambios de la concentración de cerca del avión $x+y+z=0$ están concentrados cerca de la línea de $x=y=z$.

Los casos especiales $\rho = -1/(n-1)$ $\rho = 1$ también puede ser realizado por degenerados distribuciones; no voy a entrar en los detalles, excepto para señalar que en el primer caso, la distribución puede ser soportadas en el hyperplane $\mathbf{x}.\mathbf{1}=0$, donde se trata de una suma de idénticamente distribuidas media-$0$ distribución Normal, mientras que en el segundo caso (perfecta correlación positiva) es compatible con la línea generada por $\mathbf{1}'$, donde tiene una media-$0$ distribución Normal.

---

Más acerca de la no-degeneración

Una revisión de este análisis deja claro que la matriz de correlación $\mathbb{C}(-1/(n-1), n)$ tiene un rango de $n-1$ $\mathbb{C}(1, n)$ tiene un rango de $1$ (debido a que sólo un autovector tiene un autovalor cero). Para $n\ge 2$, esto hace que la matriz de correlación que degeneran en cualquiera de los casos. De lo contrario, la existencia de la inversa del $\Sigma(\rho, n)$ demuestra es no degenerada.

Answer 3

Su matriz de correlación es

$$\begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}$$

La matriz es positiva semidefinite si el líder principal de los menores de edad son todos no negativos. El director de los menores de edad son los factores determinantes de la "north-west" los bloques de la matriz, es decir, 1, el factor determinante de la

$$\begin{pmatrix} 1&\rho\\ \rho&1\end{pmatrix}$$

y el determinante de la matriz de correlación de sí mismo.

1 es obviamente positivo, el segundo principal menor de edad es $1-\rho^2$, lo cual es positivo para cualquier admisible de correlación $\rho\in[-1,1]$. El determinante de la totalidad de la matriz de correlación es

$$2\rho^3-3\rho^2+1.$$

El gráfico muestra el determinante de la función en el intervalo admisible de correlaciones $[-1,1]$.

Vea la función es no negativa en el intervalo dado por @stochazesthai (que también se podría comprobar mediante la búsqueda de las raíces de la determinantal ecuación).

Answer 4

Existen variables aleatorias $X$, $Y$ y $Z$ parejas con las correlaciones $\rho_{XY} = \rho_{YZ} = \rho_{XZ} = \rho$ si y sólo si la matriz de correlación es positivo semidefinite. Esto ocurre sólo para $\rho \in [-\frac{1}{2},1]$.