De regresión lineal, con la condición de expectativas y valores esperados

Question

Bueno por lo que sólo un poco confusa en algunas cosas, cualquier ayuda sería muy apreciada. Es mi entendimiento de que el modelo de regresión lineal se prevé a través de una esperanza condicional E(Y|X)=b+Xb+e

1. Asumimos que X e y son variables Aleatorias con algunos desconocidos distribución de probabilidad? fue mi entendimiento de que sólo los residuos y la estimación de los coeficientes beta fueron variables aleatorias. si es así, como un ejemplo, si Y = obesidad y X = edad, si tomamos la esperanza condicional E(Y|X=35) es decir, ¿cuál es el valor esperado de la obesidad si la persona es de 35 a través de la muestra, tomamos el promedio(media aritmética) de y para aquellos observaciones donde X=35? sin embargo, no es el valor esperado implica que debemos multiplicarlo por la probabilidad de ocurrencia ? pero ¿en que sentido nos encontramos con la probabilidad de que el valor X de la variable que ocurre si se representan algo así como la edad?
2. Si X representa algo así como la tasa de cambio, sería clasificado como al azar? cómo en el mundo podría encontrar el valor esperado de esta sin el conocimiento de la probabilidad, aunque? o sería el valor esperado igual a la media en el límite.
3. Si no suponemos que las variables dependientes de las mismas son variables aleatorias, ya que no anverso de la probabilidad, ¿para qué se supone que son? acaba de valores fijos o algo? pero si este es el caso, ¿cómo podemos condición de no-variable aleatoria, para empezar? lo asumimos acerca de las variables independientes de la distribución?

Lo siento si algo no tiene sentido o que es obvio para cualquier persona.

Answer 1

En el modelo de probabilidad subyacente de regresión lineal, X y y son variables aleatorias.

si es así, como un ejemplo, si Y = obesidad y X = edad, si tomamos la esperanza condicional E(Y|X=35) es decir, ¿cuál es el valor esperado de la obesidad si la persona es de 35 a través de la muestra, tomamos el promedio(media aritmética) de y para aquellos observaciones donde X=35?

Eso es correcto. En general, usted puede esperar que usted tendrá suficiente cantidad de datos en cada valor de X, o puede ser imposible hacerlo si X puede tomar un rango continuo de valores. Pero conceptualmente, esto es correcto.

sin embargo, no es el valor esperado implica que debemos multiplicarlo por la probabilidad de ocurrencia ?

Esta es la diferencia entre la incondicional expectativa $E[Y]$ y el condicional expectativa $E[Y \mid X = x]$. La relación entre ellos es

$$ E[Y] = \sum_x E[Y \mid X = x] Pr[X = x] $$

que es la ley de la total expectativa.

pero ¿en que sentido nos encontramos con la probabilidad de que el valor X de la variable que ocurre si se representan algo así como la edad?

Generalmente no en la regresión lineal. Ya que estamos tratando de determinar $E[Y \mid X]$, no necesitamos saber $Pr[X = x]$.

Si no suponemos que las variables independientes de las mismas son variables aleatorias, ya que no anverso de la probabilidad, ¿para qué se supone que son? acaba de valores fijos o algo?

Nos hacen suponer que Y es una variable aleatoria. Una manera de pensar acerca de la regresión lineal es un modelo de probabilidad para $Y$

$$ Y \sim X \beta + N(0, \sigma) $$

El que dice que, una vez conocido el valor de X, la variación aleatoria en Y está confinado a los sumando $N(0, \sigma)$.

Answer 2

Habrá un MONTÓN de respuestas a esta pregunta, pero quiero añadir uno, ya que hizo algunos puntos interesantes. Para la simplicidad que sólo tienen en cuenta la simple modelo lineal.

   It is my understanding that the linear regression model
   is predicted via a conditional expectation E(Y|X)=b+Xb+e

La ecuación fundamental de un análisis de regresión lineal simple es: $$\mathbb E(Y\,|\,X) = \beta_0 +\beta_1X,$$ Esta ecuación significa que el valor promedio de $Y$ es lineal en los valores de $X$. También se puede notar que el valor esperado también es lineal en los parámetros de $\beta_0$$\beta_1$, por lo que el modelo se llama lineal. Este fundamentales de la ecuación puede ser reescrita como: $$Y = \beta_0+\beta_1X+\epsilon,$$ donde $\epsilon$ es una variable aleatoria con media cero: $\mathbb E(\epsilon) = 0$

Do we assume that both X and Y are Random variables with some unknown 
probability distribution? ... If we don't assume the independent variables 
are themselves random 

La variable independiente $X$ puede ser aleatoria o fija. La variable dependiente $Y$ es SIEMPRE aleatorio.

Generalmente se supone que las $\{X_1,...,X_n\}$ son números fijos. Esto es debido a que el análisis de regresión fue desarrollado y es muy aplicado en el contexto de los experimentos diseñados, donde el $X$'s valores previamente fijada.

Las fórmulas para los cálculos por mínimos cuadrados de $\beta_0$ $\beta_1$ son los mismos incluso si el $X$'s se supone que son al azar, pero la distribución de estas estimaciones no suele ser la misma en comparación con la situación de fijo $X$'s.

if we take the conditional expectation E(Y|X=35) ... would we just take 
the average(arithmetic mean) of y for those observations where X=35?

En el sencillo modelo lineal se puede construir una estimación $\hat\varphi(x)$ $\mathbb E(Y|X = x)$ basado en las estimaciones de la $\hat \beta_0$$\hat \beta_1$, a saber: $$\hat\varphi(x) = \hat\beta_0+\hat\beta_1x$$
La media condicional menos el cuadrado de la estimador tiene la expresión igual a la que usted describe si el modelo trata a los diferentes pesos de los niveles de un solo factor. Estos modelos son también conocido como ANOVA de una vía, que es un caso particular de (no simple) modelo lineal.

Answer 3

1. Regresión lineal Simple:

Y = beta0 + beta 1*X + e

Aquí hay supuestos:

• e es una variable aleatoria
• Y es la variable aleatoria (debido a la e)
• X es constante

Sin embargo, para poder hacer inferencias y predicciones con este modelo de regresión lineal se tiene que hacer algunas suposiciones acerca de la e (en consecuencia, acerca de Y). Aquí están los principales supuestos:

• e es de yo.yo.d. de la muestra (por lo tanto, var(e) = 0)
• e sea distribuido normalmente (por inferencia)
• linealidad

La regresión lineal con estos supuestos, se llama Normal de error de la regresión lineal. Debido a estos supuestos, Y también ha varianza igual a 0 y la distribución normal.

Voy a añadir más tarde. Me corrija si me he perdido nada.