Resultado probabilístico de la regresión OLS

Question

Dado un conjunto de datos x (1 dimensión) y su salida y, he ajustado una regresión OLS que me da la pendiente y el intercepto de la línea de regresión de mínimos cuadrados.

¿Cómo puedo estimar la salida probabilística de que el valor predicho y sea mayor o igual que un valor determinado dado un nuevo x, es decir, P(y >= {valor determinado} | x = {un nuevo x})?

Gracias.

Answer 1

Parece que estás interesado en un distribución posterior predictiva que es un concepto bayesiano. La fdc de una condicional concreta de esa función de distribución le dará una respuesta a su problema. La distribución posterior predictiva comienza asumiendo que los coeficientes del modelo son en sí mismos una variable aleatoria, $B$ y calculando una distribución para $P(B=\beta|X,\theta)$ donde $X$ representa tanto las variables independientes como las dependientes y $\theta$ son hiperparámetros, entonces se integra sobre el espacio de coeficientes e hiperparámetros: $$p(\hat{X}|X)=\int_\Omega \int_B p(\hat{X}|\beta)p(\beta|X,\theta)d\beta d\theta$$ A continuación, tendría que encontrar la distribución de las nuevas variables dependientes condicionadas a los nuevos valores del regresor, lo que implica otra integración. Por lo general, la distribución de los coeficientes y la integración posterior se calculan mediante algún tipo de muestreo.

Sin embargo, si está bastante seguro de que sus parámetros están muy cerca de los parámetros generadores, entonces podría utilizar una aproximación normal basada en el error residual: $$\begin{align}P(\hat{y}>c|\hat{x})&=P(\hat{r}>c-\beta^T\hat{x})\\&\approx\Phi\left(\frac{c-\beta^T\hat{x}}{\sigma_{\textrm{res}}}\right)\end{align}$$ donde $\Phi$ es la fdc de la normal estándar y $\sigma_{\textrm{res}}$ es la desviación estándar de los residuos del modelo.