He aquí una respuesta a la pregunta general, que escribí hace un tiempo. Es una pregunta habitual en las entrevistas.
La pregunta es la siguiente: "Digamos que tienes X,Y,Z tres variables aleatorias tales que la correlación de X e Y es algo y la correlación de Y y Z es otra cosa, ¿cuáles son las posibles correlaciones para X y Z en términos de las otras dos correlaciones?".
Daremos una respuesta completa a esta pregunta, utilizando la desigualdad de Cauchy-Schwarz y el hecho de que $\mathcal{L}^2$ es un espacio de Hilbert.
La desigualdad de Cauchy-Schwarz dice que si x,y son dos vectores en un espacio de producto interior, entonces
$$\lvert\langle x,y\rangle\rvert \leq \sqrt{\langle x,x\rangle\langle y,y\rangle}$$
Esto se utiliza para justificar la noción de ''ángulo'' en espacios vectoriales abstractos, ya que da la restricción
$$-1 \leq \frac{\langle x,y\rangle}{\sqrt{\langle x,x\rangle\langle y,y\rangle}} \leq 1$$ lo que significa que podemos interpretarlo como el coseno del ángulo entre los vectores x e y.
Un espacio de Hilbert es un espacio vectorial de dimensión infinita con un producto interior. Lo importante para este post es que en un espacio de Hilbert el producto interior nos permite hacer geometría con los vectores, que en este caso son variables aleatorias. Daremos por supuesto que el espacio de variables aleatorias de media 0 y varianza 1 es un espacio de Hilbert, con producto interior $\mathbb{E}[XY]$ . Obsérvese que, en particular
$$\frac{\langle X,Y\rangle}{\sqrt{\langle X,X\rangle\langle Y,Y\rangle}} = \text{Cor}(X,Y)$$
Esto a menudo lleva a la gente a decir que "las correlaciones son cosenos", lo que es intuitivamente cierto, pero no formalmente correcto, ya que ciertamente no son los cosenos en los que pensamos naturalmente (este espacio es infinito dimensional), pero todas las leyes se mantienen (como el teorema de Pitágoras, la ley de los cosenos) si las definimos como el negativo de los cosenos del ángulo entre dos variables aleatorias, cuyas longitudes podemos considerar como sus desviaciones estándar en este espacio vectorial.
Como este espacio es un espacio de Hilbert, podemos hacer toda la geometría que hicimos en el instituto, como proyectar vectores unos sobre otros, hacer descomposición ortogonal, etc. Para resolver esta cuestión, utilizamos la descomposición ortogonal, que en estadística suele denominarse ''truco de la no correlación'' y consiste en escribir una variable aleatoria como función de otra variable aleatoria más una variable aleatoria que no esté correlacionada con la segunda variable aleatoria. Esto es especialmente útil en el caso de variables aleatorias normales multivariantes, cuando el hecho de que dos componentes no estén correlacionados implica independencia.
Bien, supongamos que sabemos que la correlación de X e Y es $p_{xy}$ la correlación de Y y Z es $p_{yz}$ y queremos conocer la correlación de X y Z, que llamaremos $p_{xz}$ . Nótese que no perdemos generalidad suponiendo media 0 y varianza 1, ya que escalar y trasladar los vectores no afecta a sus correlaciones. Podemos entonces escribir
$$X = \langle X,Y\rangle Y + O^X_Y$$
$$Z = \langle Z,Y\rangle Y + O^Z_Y$$
donde $\langle \cdot,\cdot\rangle$ representa el producto interior sobre el espacio y el $O$ no están correlacionadas con Y. A continuación, tomamos el producto interior de $X,Z$ que es la correlación que buscamos, ya que todo tiene varianza 1. Tenemos que
$$\langle X,Z\rangle = p_{xz} = \langle p_{xy}Y+O^X_Y,p_{zy}Y+O^Z_Y\rangle = p_{xy}p_{yz}+\langle O^X_Y,O^Z_Y\rangle$$
ya que la varianza de Y es 1 y los otros términos de esta expansión bilineal son ortogonales y por tanto tienen covarianza 0. Ahora podemos aplicar la desigualdad de Cauchy-Schwarz al último término anterior para obtener que
$$p_{x,z} \leq p_{xy}p_{yz} + \sqrt{(1-p_{x,y}^2)(1-p_{y,z}^2)}$$
$$p_{x,z} \geq p_{xy}p_{yz} - \sqrt{(1-p_{x,y}^2)(1-p_{y,z}^2)}$$
donde el hecho de que
$$\langle O^X_Y,O^X_Y\rangle = 1-p_{xy}^2$$
proviene de la ecuación que establece la varianza de X igual a 1 o
$$1 = \langle X,X\rangle = \langle p_{xy}Y + O^X_Y,p_{xy}Y+O^X_Y\rangle = p_{xy}^2 + \langle O^X_Y,O^X_Y\rangle$$
y se puede hacer exactamente lo mismo para $O^Z_Y$ .
Ya tenemos la respuesta. Siento que haya sido tan largo.
