Correlación nula de todas las funciones de variables aleatorias, lo que implica independencia

Question

Independencia entre variables aleatorias $X$ y $Y$ implica que $\text{Corr}\left(f(X),g(Y)\right)=0$ para funciones arbitrarias $f(\cdot)$ y $g(\cdot)$ ( aquí es un hilo relacionado).

Pero, ¿es correcta la siguiente afirmación u otra similar (quizá definida con mayor rigor)?

Si $\text{Corr}\left(f(X),g(Y)\right)=0$ para todas las funciones posibles $f(\cdot)$ y $g(\cdot)$ entonces $X$ y $Y$ son independientes.

Answer 1

Utilizando funciones indicadoras de conjuntos medibles como $$f(x)=\mathbb I_A(x)\quad g(x)=\mathbb I_B(x)$$ conduce a $$\text{cov}(f(X),g(Y))=\mathbb P(X\in A,Y\in B)-\mathbb P(X\in A)\mathbb P(Y\in B)$$ lo que implica independencia. Como se muestra en la siguiente instantánea del curso de probabilidad de A. Dembo, basta con demostrar el resultado para las funciones indicadoras.

Esto se debe a este teorema de la clase monótona:

Answer 2

@Xi'an ofrece probablemente el conjunto de funciones más sencillo $f,\,g$ que funcionará. He aquí un argumento más general:

Basta con demostrar que la función característica $E[\exp(itX+iSY)]$ factores en $E[\exp(itX)]E[\exp(iSY)]$ porque las funciones características determinan las distribuciones.

Por lo tanto, basta con mostrar una correlación cero

• cuando $f,\,g$ son de la forma $f_t(x)=\exp(itx)$ y $f_s(y)=\exp(isy)$
• así que $\sin(tx)$ y $\cos(sy)$ también son suficientes
• por el teorema de aproximación de Weierstrass, los senos y cosenos pueden aproximarse por polinomios, que también bastan
• más generalmente, por el teorema de Stone-Weierstrass, cualquier otro conjunto de funciones continuas cerradas bajo adición y multiplicación, que contenga las constantes, y que separe puntos también servirá ['separe puntos' significa para cualquier $x_1$ y $x_2$ puedes encontrar $f$ para que $f(x_1)\neq f(x_2)$ y lo mismo para $y$ y $g$ ]
• la construcción de integrales a partir de funciones indicadoras muestra que también se pueden utilizar funciones constantes como hace @Xi'an
• y, como, wavelets o lo que sea

En ocasiones puede ser útil tener en cuenta que no es necesario utilizar el mismo conjunto de funciones para $f$ en cuanto a $g$ . Por ejemplo, puede utilizar funciones indicadoras para $f$ y polinomios para $g$ si eso de alguna manera te hiciera la vida más fácil

Answer 3

Cualquier variable aleatoria continua puede convertirse en una variable aleatoria uniforme [0,1] mediante la función de distribución acumulativa. Si las variables son independientes, la distribución conjunta en el cuadrado de 1x1 será el producto de los dos márgenes uniformes y, por tanto, también uniforme. Para que las variables sean dependientes, la distribución conjunta no es igual al producto y, por tanto, no es uniforme. El cuadrado de 1x1 tiene protuberancias y depresiones. A continuación, aplicamos una permutación de intervalos/bloques a lo largo de cada eje para reordenar esos baches a lo largo de la diagonal y las depresiones lejos de ella, como permutar las filas y columnas de una matriz con la función Algoritmo Cuthill-McKee . Esto hace que la correlación sea distinta de cero. Así, la correlación cero para todas las funciones de variables aleatorias continuas implica independencia.

Answer 4

Si $\text{Corr}\left(f(X),g(Y)\right)=0$ para todas las funciones posibles $f(\cdot)$ y $g(\cdot)$ entonces $X$ y $Y$ son independientes.

En la ref que tengo se afirma lo contrario. Si $X$ y $Y$ son independientes tenemos eso:

$E[f(X)]E[g(Y)]-E[f(X)g(Y)]=0$ (entonces $corr[f(X),g(Y)]=0$ )

para cualquier $f()$ y $g()$ .

En otras palabras, no tenemos ninguna posibilidad de encontrar dependencias. De hecho, si existen, deben ser reveladas por algunas relaciones funcionales. Véase: Econometría - Verbeek; 5ª edición pág 463. Pero algunas condiciones de distribuciones/momentos/funciones me parecen implícitas.

Moverse en sentido contrario está permitido, así que de $\text{Corr}\left(f(X),g(Y)\right)=0$ la independencia está implícita.

Sin embargo, puede ser útil observar que la condición $\text{Corr}\left(f(X),g(Y)\right)=0$ implican algunas restricciones en las distribuciones/funciones/momentos. En algunos casos, esta condición puede fallar. Por ejemplo, si $X$ y $Y$ son independientes Cauchy r.vs: $\text{Corr}\left(f(X),g(Y)\right)=0$ no se sostiene, o al menos no para algunos $f()$ y $g()$ . Entonces, la condición en argumento y la independencia no son completamente equivalentes.

Answer 5

Que dos variables sean dependientes significa que hay algún(os) valor(es) de una variable que hace(n) más probable(s) algún(os) valor(es) de la otra variable (la afirmación general es que cambia la probabilidad, pero WLOG podemos suponer que aumenta la probabilidad). Y si ese es el caso, es evidente que existe una correlación positiva entre el valor o los valores de la primera variable y el valor o los valores de la segunda variable. Esta correlación puede reflejarse en la correlación entre funciones, tomando funciones que tengan diferentes salidas dependiendo de si las variables toman el valor o valores en cuestión.

Como práctico materia, éste no suele ser un buen método para demostrar la independencia. Dado cualquier conjunto contable de funciones, es posible construir dos variables dependientes para las que todas esas funciones no estén correlacionadas. Así que hay que demostrar que un conjunto incontable de funciones no están correlacionadas, momento en el que probablemente sea más fácil demostrar la independencia directamente.