La relación no es tanto con el Teorema de Bayes como con inferencia y por lo tanto probabilidades condicionales .
Intuitivamente, si dos variables $X$ y $Y$ no están correlacionadas, entonces no se puede esperar que se pueda inferir mucho sobre $Y$ de una realización de $X$ .
He aquí un ejemplo sencillo de 2 realizaciones de variables aleatorias que no están correlacionadas (podría llamarse conjunto de entrenamiento del clasificador):
X Y
----
1 1
1 -1
Es sencillo calcular que la varianza es cero: $\mathbb{E}(XY) = 0$ .
Por definición y dado que sólo tenemos $1$ s y $-1$ s: $$\begin{align} \mathbb{E}(XY) = & \, \mathbb{P}(X=1, Y=1) + \mathbb{P}(X=-1, Y=-1) \\ &- \mathbb{P}(X=-1, Y=1) - \mathbb{P}(X=1, Y=-1) \end{align} $$
Si utilizamos la definición $\mathbb{P}(Y|X) = \mathbb{P}(X, Y) / \mathbb{P}(X)$ a lo largo podemos refactorizar como:
$$\begin{align} \mathbb{E}(XY) = & \mathbb{P}(X=1) \, \big[\mathbb{P}(Y=1|X=1) - \mathbb{P}(Y=-1|X=1)\big] \, + \\ &\mathbb{P}(X=-1) \, \big[\mathbb{P}(Y=-1|X=-1) - \mathbb{P}(Y=1|X=-1)\big] \end{align} $$
En mi conjunto de entrenamiento simple $X$ nunca es $-1$ y así puedo reducirlo más: $$ \mathbb{E}(XY) = \big[\mathbb{P}(Y=1|X=1) - \mathbb{P}(Y=-1|X=1)\big] $$ Esta igualdad explica cómo la correlación cero está relacionada con el hecho de que $X$ no es una buena señal para la clasificación de $Y$ Las probabilidades condicionales de la derecha son iguales, por lo que no podemos clasificar $Y$ como más probable que sea un $1$ o un $-1$ .
