¿Cuál es la relación entre la función $\mathbb{E}(Y \mid X = x)$ y regresión lineal?

Question

Considere la función

$$ r(x) = \mathbb{E}(Y \mid X = x) $$

Esto ha sido llamado la función de regresión en los libros de texto que estoy usando. Estoy tratando de averiguar la relación entre esta función y el clásico modelo de regresión lineal.

Así que, sé que es un teorema de* que podemos escribir

$$ Y = r(X) + \epsilon $$

para algunos variable aleatoria $\epsilon$ s.t. $\mathbb{E}(\epsilon) = 0$.

Ahora supongamos que tenemos

$$ Y = \beta_0 + \beta_1 X + \epsilon $$

Esta es la clásica 1-dimensional de la función de regresión (suponiendo que el $\beta_0$ $\beta_1$ minimizar la suma de cuadrados residual).

Pregunta: entonces Es un teorema matemático que si $Y$ se define como el anterior, que

$$ r(X) = \mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X)? $$

Y es esta razón por la función de $\mathbb{E}(Y \mid X)$ se llama la "función de regresión"?

EDIT: El teorema de que estoy haciendo uso de es como sigue (de Todas las Estadísticas pg. 89):

Los modelos de regresión a veces escrito como

$$ Y = r(X) + \epsilon $$

donde $\mathbb{E}(\epsilon) = 0$. Siempre podemos reescribir un modelo de regresión de esta manera. Para ver esto, definimos $\epsilon = Y - r(X)$ y, por tanto,$Y = Y + r(X) - r(X) = r(X) + \epsilon$. Por otra parte, $\mathbb{E}(\epsilon) = \mathbb{E}\mathbb{E}(\epsilon \mid X) = \mathbb{E}(\mathbb{E}(Y - r(X)) \mid X) = \mathbb{E}(\mathbb{E} ( Y \mid X) - r(X)) = \mathbb{E}(r(X) - r(X)) = 0$.

Answer 1

Resumiendo la pregunta:

Dado $Y = \beta_0 + \beta_1 X + \varepsilon$, es, entonces, un teorema matemático que $r(X) = \mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X)$?

Sí, por las propiedades básicas de la expectativa:

$$ \begin{align} \operatorname{E}(Y\mid X) & = \operatorname{E}(\beta_0 + \beta_1 X + \varepsilon) \\[6pt] & = \operatorname{E}(\beta_0) + \operatorname{E}(\beta_1 X) + \operatorname{E}(\varepsilon) & & \text{(linearity of expectation)} \\[6pt] & = \beta_0 + \beta_1 X + 0 & & \text{(Noting that %#%#% is constant here} \\[-2pt] & & & \quad \text{because we conditioned on it.)} \\[6pt] & = \beta_0 + \beta_1 X \end{align} $$

Las razones históricas de la regresión se llama regresión se refieren a Galton darse cuenta de la "regresión a la media" efecto-inicialmente, en un experimento en las plantas que involucren semillas de tamaño de la descendencia en comparación con el tamaño de la semilla de los padres. Una relación a través de la media del tamaño de la semilla en ambas variables se tiene pendiente menor que $X$ (la cual la pendiente puede ser estimado a través de lo que llamamos regresión lineal). Los más pequeños de la pendiente más fuerte es la "regresión" efecto. El problema es ilustrado por Galton en el pdf enlazadas por las alturas de los niños (como los adultos) en comparación con el promedio de las alturas de los padres (las hembras de ser escaladas por un factor constante de $1$ a hacerlos comparables a los de los varones). Los diagramas en la tercera a quinta páginas indicar algo de lo que se observó.

De modo que un intento de estimar el tamaño de esta "regresión a la media" se obtiene lo que vino a ser llamado de regresión lineal. Por supuesto, no hay nada especial en la regresión a la media no es algo biológico especial "de la unidad de la mediocridad" como podría originalmente han adivinado, pero una bastante simple consecuencia de la matemáticas de la situación en esencialmente el mismo sentido que las correlaciones son siempre entre el$8\%$$-1$.