¿Qué teorema de independencia condicional se utiliza aquí?

Question

En la página web de Stanford conferencia de aprendizaje automático 1 La regresión lineal se define en la página 11, sección 3, como

Para $i = 1, \ldots, m$ , $y^{(i)} = \theta^T x^{(i)} + \epsilon^{(i)}$ , donde $\epsilon^{(i)}$ son IID normales ( $x^{(i)}$ son variables explicativas aleatorias).

En la página 12, a continuación, dice:

Obsérvese que por la suposición de independencia de la $\epsilon^{(i)}$ (y por lo tanto también el $y^{(i)}$ 's dado el $x^{(i)}$ 's))

¿Qué teorema utiliza aquí para justificar esto? ¿Es cierto que $Z_i = f (X_i, Y_i)$ donde $f$ es medible por Borel, $Y_i$ son independientes, entonces $Z_i$ son condicionalmente independientes dado $X_i$ ? ¿O utiliza otra cosa? Una prueba o referencia a una sería genial también.

Answer 1

Desde $Y^i = \theta^T X^i + E^i$ por el principio de sustitución $$(Y^i \mid X^i =x^i) = \theta^T x^i + E^i,$$ donde $x^i$ es una constante. Dado que el $E^i$ son independientes, el $Y^i$ son condicionalmente independientes.

Más explícitamente, la independencia condicional por pares se mantiene porque

\begin{align} P(Y^i \in{A_i}, Y^j \in{A_j}\mid X^i=x^i,X^j=x^j) &= P( E^i \in {A_i - \theta^T x^i }, E^j \in {A_j-\theta^T x^j})\\ &=P( E^i \in {A_i - \theta^T x^i }) P( E^j \in {A_j-\theta^T x^j}). \end{align}

La independencia condicional también es válida, por un razonamiento similar.

Answer 2

Contraejemplo : Dejemos que $n=2$ y $\theta=1$ ; $\epsilon_1,\epsilon_2\sim_{i.i.d}\text{Bernoulli}(0.5)$ . Tome $x_1=\epsilon_2-\epsilon_1$ y $x_2=\epsilon_1-\epsilon_2$ . Entonces

$$y_1=\epsilon_2\text{; }y_2=\epsilon_1$$

y

$$\frac{1}{2}=P\{y_1=0,y_2=0|x_1=0,x_2=0\}$$ $$\ne P\{y_1=0|x_1=0,x_2=0\}P\{y_2=0|x_1=0,x_2=0\}=\frac{1}{2}\times\frac{1}{2}$$

Así que, $y$ -s no son condicionalmente independientes.