¿Qué relación existe entre ortogonalidad, correlación e independencia?

Question

He leído un artículo que dice que cuando se utilizan contrastes planificados para encontrar medias que son diferentes en un ANOVA de una vía, los contrastes deben ser ortogonales para que no estén correlacionados y evitar que se infle el error de tipo I.

No entiendo por qué ortogonal significaría descorrelacionado en cualquier circunstancia. No puedo encontrar una explicación visual/intuitiva de eso, así que traté de entender estos artículos/respuestas

https://www.psych.umn.edu/faculty/waller/classes/FA2010/Readings/rodgers.pdf

¿Qué significa ortogonal en el contexto de la estadística?

pero para mí, se contradicen. La primera dice que si dos variables no están correlacionadas y/o son ortogonales, entonces son linealmente independientes, pero que el hecho de que sean linealmente independientes no implica que no estén correlacionadas y/o sean ortogonales.

Ahora en el segundo enlace hay respuestas que dicen cosas como "ortogonal significa no correlacionado" y "Si X e Y son independientes entonces son ortogonales". Pero lo contrario no es cierto".

Otro comentario interesante en el segundo enlace es que el coeficiente de correlación entre dos variables es igual al coseno del ángulo entre los dos vectores correspondientes a dichas variables, lo que implica que dos vectores ortogonales están completamente descorrelacionados (lo que no es lo que afirma el primer artículo).

¿Cuál es la verdadera relación entre independencia, ortogonalidad y correlación? Tal vez me he perdido algo, pero no puedo encontrar lo que es.

Answer 1

Independencia es un concepto estadístico. Dos variables aleatorias $X$ y $Y$ son estadísticamente independientes si su distribución conjunta es el producto de las distribuciones marginales, es decir $$ f(x, y) = f(x) f(y) $$ si cada variable tiene una densidad $f$ o más generalmente $$ F(x, y) = F(x) F(y) $$ donde $F$ denota la función de distribución acumulativa de cada variable aleatoria.

Correlación es un concepto estadístico más débil pero relacionado. La correlación (de Pearson) de dos variables aleatorias es la expectativa del producto de las variables estandarizadas, es decir $$ \newcommand{\E}{\mathbf E} \rho = \E \left [ \frac{X - \E[X]}{\sqrt{\E[(X - \E[X])^2]}} \frac{Y - \E[Y]}{\sqrt{\E[(Y - \E[Y])^2]}} \right ]. $$ Las variables son no correlacionado si $\rho = 0$ . Se puede demostrar que dos variables aleatorias que son independientes no están necesariamente correlacionadas, pero no a la inversa.

Ortogonalidad es un concepto que se originó en la geometría, y fue generalizado en álgebra lineal y campos relacionados de las matemáticas. En el álgebra lineal, la ortogonalidad de dos vectores $u$ y $v$ se define en espacios de productos internos es decir espacios vectoriales con un producto interno $\langle u, v \rangle$ como la condición de que $$ \langle u, v \rangle = 0. $$ El producto interior puede definirse de diferentes maneras (dando lugar a diferentes espacios de producto interior). Si los vectores se dan en forma de secuencias de números, $u = (u_1, u_2, \ldots u_n)$ entonces una opción típica es el producto punto , $\langle u, v \rangle = \sum_{i = 1}^n u_i v_i$ .

---

Por lo tanto, la ortogonalidad no es un concepto estadístico en sí mismo, y la confusión que observas se debe probablemente a diferentes traducciones del concepto de álgebra lineal a la estadística:

a) Formalmente, un espacio de variables aleatorias puede considerarse como un espacio vectorial. Entonces es posible definir un producto interno en ese espacio, de diferentes maneras. Una común elección es definirla como la covarianza: $$ \langle X, Y \rangle = \mathrm{cov} (X, Y) = \E [ (X - \E[X]) (Y - \E[Y]) ]. $$ Dado que la correlación de dos variables aleatorias es cero exactamente si la covarianza es cero, según esta definición la descorrelación es lo mismo que la ortogonalidad. (Otra posibilidad es definir el producto interno de las variables aleatorias simplemente como el expectativa del producto .)

b) No todos los variables que consideramos en la estadística son variables aleatorias. Especialmente en la regresión lineal, tenemos variables independientes que no se consideran aleatorias sino predefinidas. Las variables independientes suelen darse como secuencias de números, para las que la ortogonalidad se define naturalmente mediante el producto punto (véase más arriba). Podemos entonces investigar las consecuencias estadísticas de los modelos de regresión en los que las variables independientes son o no ortogonales. En este contexto, la ortogonalidad no tiene una definición específicamente estadística, y aún más: no se aplica a las variables aleatorias.

Adición en respuesta al comentario de Silverfish: La ortogonalidad no sólo es relevante con respecto a los regresores originales, sino también con respecto a los contrastes, porque los (conjuntos de) contrastes simples (especificados por los vectores de contraste) pueden verse como transformaciones de la matriz de diseño, es decir, el conjunto de variables independientes, en un nuevo conjunto de variables independientes. La ortogonalidad de los contrastes es definido a través del producto punto. Si los regresores originales son mutuamente ortogonales y se aplican contrastes ortogonales, los nuevos regresores también son mutuamente ortogonales. Esto garantiza que el conjunto de contrastes puede considerarse como una descripción de la descomposición de la varianza, por ejemplo, en efectos principales e interacciones, la idea subyacente ANOVA .

Dado que, según la variante a), la descorrelación y la ortogonalidad no son más que nombres diferentes para la misma cosa, en mi opinión es mejor evitar el uso del término en ese sentido. Si queremos hablar de descorrelación de variables aleatorias, digámoslo y no compliquemos las cosas utilizando otra palabra con un trasfondo diferente y con implicaciones distintas. Esto también libera el término ortogonalidad para utilizarlo según la variante b), que es muy útil especialmente al hablar de la regresión múltiple. Y al revés, deberíamos evitar aplicar el término correlación a las variables independientes, ya que no son variables aleatorias.

---

Rodgers et al.'s está en gran medida en consonancia con este punto de vista, sobre todo porque entienden que la ortogonalidad es distinta de la descorrelación. Sin embargo, aplican el término correlación a las variables no aleatorias (secuencias de números). Esto sólo tiene sentido desde el punto de vista estadístico con respecto a la coeficiente de correlación de la muestra $r$ . Sigo recomendando evitar este uso del término, a menos que la secuencia de números se considere como una secuencia de realizaciones de una variable aleatoria.

He esparcido enlaces a las respuestas de las dos preguntas relacionadas a lo largo del texto anterior, lo que debería ayudarte a situarlas en el contexto de esta respuesta.

Answer 2

Esta es la relación: Si X e Y no están correlacionados, entonces X-E[X] es ortogonal a Y-E[Y].

A diferencia de que independiente es un concepto más fuerte de descorrelacionado, es decir, independiente llevará a descorrelacionado, (no) ortogonal y (des)correlacionado puede ocurrir al mismo tiempo.

Estoy siendo el TA de probabilidad este semestre, así que hago un video corto sobre Independencia, Correlación, Ortogonalidad.

https://youtu.be/s5lCl3aQ_A4

Espero que sea de ayuda.

Answer 3

Esta es mi opinión intuitiva: Afirmar que x e y no están correlacionados/ortogonales son dos formas de decir que el conocimiento del valor de x o de y no permite predecir el del otro - x e y son independientes entre sí - suponiendo que cualquier relación sea lineal.

El coeficiente de correlación nos indica hasta qué punto el conocimiento de x (o y) nos permite predecir y (o x). Suponiendo relaciones lineales.

En un plano, un vector a lo largo del eje X puede ser variado en magnitud sin cambiar su componente a lo largo del eje Y -- los ejes X e Y son ortogonales y el vector a lo largo de X es ortogonal a cualquiera a lo largo de Y. Si se varía la magnitud de un vector que no está en el eje X, variarán las componentes X e Y. El vector ya no es ortogonal. El vector ya no es ortogonal a Y.

Si dos variables no están correlacionadas son ortogonales y si dos variables son ortogonales, no están correlacionadas. La correlación y la ortogonalidad son simplemente formas diferentes, aunque equivalentes, algebraicas y geométricas, de expresar la noción de independencia lineal. Como analogía, considere la solución de un par de ecuaciones lineales en dos variables por trazado (geométrico) y por determinantes (algebraico).

Con respecto a la suposición de linealidad -- dejemos que x sea el tiempo, dejemos que y sea una función senoidal. A lo largo de un período, x e y son ortogonales y no están correlacionadas utilizando los medios habituales para calcular ambas. Sin embargo, el conocimiento de x nos permite predecir y con precisión. La linealidad es un aspecto crucial de la correlación y la ortogonalidad.

Aunque no forma parte de la pregunta, observo que la correlación y la no ortogonalidad no equivalen a la causalidad. x e y pueden estar correlacionadas porque ambas tienen alguna dependencia, posiblemente oculta, de una tercera variable. El consumo de helados aumenta en verano, la gente va a la playa más a menudo en verano. Las dos están correlacionadas, pero ninguna "causa" la otra. Véase https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation para saber más sobre este punto.