Si $y \sim \alpha x + \beta + N(0, \sigma ^{2})$ y $x\sim N(\mu, \sigma _{x}^{2})$ ¿Qué es $P(x,y)$ ?

Question

Si y depende linealmente de x de forma que el resultado de realizar una regresión lineal da $y=\alpha x + \beta + \eta$ donde el ruido se distribuye normalmente con media cero y cierta varianza de predicción $\sigma ^{2}$ y además x se distribuye normalmente con media y varianza conocidas (digamos $\mu$ y $\sigma _{x}^{2}$ ), entonces ¿cuál es la distribución conjunta $P(x,y)$ ?

Me propuse demostrar lo que me decía mi intuición, que es que, por supuesto, la distribución debería ser normal bivariante. La forma en que expuse la prueba (puedo proporcionar más detalles del álgebra si es útil), es calcular explícitamente $P(x,y)=P(y\mid x)P(x)$ y recoger todos los coeficientes de $x^2, y^2, xy, x $ y $y$ y luego intentar escribirlo como $\Lambda_{11}(x-a)^2 + 2 \Lambda_{12} (x--a)(y-b) + \Lambda_{22}(y-b)^2$ de nuevo, recogiendo todos $x^2, y^2, xy, x $ y $y$ y, a continuación, los coeficientes de correspondencia (aprovechando el hecho de que la matriz de correlaciones es simétrica y, por lo tanto, su inversa también lo es, por lo que $\Lambda _{12}=\Lambda_{21}$ ).

Esto parece funcionar, y luego observo que $\Lambda $ se supone que es la inversa de la matriz de correlación $\Sigma$ por lo que utilizando las fórmulas explícitas para la inversión de matrices en 2d, dadas por

$$ \Sigma_{11} =\frac{\Lambda_{22}}{\Lambda_{11}\Lambda_{22} - \Lambda_{12}^{2}}$$

$$ \Sigma_{12} =\frac{-\Lambda_{12}}{\Lambda_{11}\Lambda_{22} - \Lambda_{12}^{2}}$$

$$ \Sigma_{22} =\frac{\Lambda_{11}}{\Lambda_{11}\Lambda_{22} - \Lambda_{12}^{2}}$$

Me parece que: $$\Sigma = \begin{pmatrix}\sigma_x^2& \alpha \sigma_x^2\\ \alpha \sigma_x^2&\sigma^2 + \alpha^{2}\sigma_x^2\end{pmatrix}$$

$$a = \mu \text{ and } b = \alpha \mu + \beta$$

(y en consecuencia, concluyo que porque puedo hacer coincidir todos los términos en $x$ y $y$ al escribir la distribución conjunta como una gaussiana bivariante, que los términos constantes deben ser iguales, ya que ambas formas de la distribución están normalizadas).

Lo que me parece muy extraño de esto, es que los off-diagonales de la matriz de correlación no se vean afectados por $\sigma $ . En el límite $\sigma \to \infty$ , $y$ no depende de $x$ por lo que presumiblemente su correlación debería ser cero. Yo esperaría que los off-diagonales fueran inversamente proporcionales a $\sigma$ .

¿He cometido un error de cálculo o, en caso contrario, cuál es la mejor manera de interpretar este resultado?

Answer 1

$\Sigma$ es la matriz de covarianza, no la matriz de correlaciones. En la matriz de correlaciones verá $\sigma$ y $\sigma_x$ condiciones.

Intuitivamente, la covarianza es la parte de la varianza que comparten ambas variables que es la varianza de la $X$ variable. Véase también la siguiente propiedad de la regla de covarianza para sumas de variables:

$$\text{Cov}(aX+bY,cU+dV) = ac \text{Cov}(X,U) +ad \text{Cov}(X,V) +bc \text{Cov}(Y,U) +bd \text{Cov}(Y,V) $$

y

$$ \text{Cov}(Y,X) = \text{Cov}(\eta+\alpha X,X) = \alpha \text{Cov}(X,X) + \text{Cov}(\eta,X) = \alpha \text{Var}(X) $$

donde la última igualdad requiere mínimamente una correlación cero entre el término de error $\eta$ y la variable independiente $X$ (la independencia será suficiente).

Así que para la correlación de Pearson tendrás:

$$\rho_{XY} = \frac{\alpha \sigma_x^2}{\sigma_x\sigma} = \alpha \frac{\sigma_x}{\sigma} $$

lo que se corresponde con su intuición de que la correlación se reduce para los mayores $\sigma$ .

---

En cuanto a la pregunta del título, sobre la distribución conjunta, no se puede determinar $P(X,Y)$ sin definir previamente la distribución conjunta $P(X,\eta)$ . No es suficiente información que $\eta$ y $X$ se distribuyen individualmente de forma normal. Esto se relaciona un poco con ¿Cómo calcular la probabilidad condicional cuando sólo se conocen los marginales?