Los valores negativos en las predicciones de un siempre positiva respuesta de la variable en la regresión lineal

Question

Estoy tratando de predecir una respuesta variable en la regresión lineal que debe ser siempre positiva (coste por clic). Es una cantidad monetaria. En adwords, usted paga google por los clics en sus anuncios, y un número negativo significaría que google paga a usted cuando la gente hace clic :P

Los predictores son todos los valores continuos. El Rsquared y RMSE son buenos, cuando en comparación con otros modelos, incluso fuera de la muestra:

  RMSE        Rsquared 
1.4141477     0.8207303

No puedo cambiar la escala de las predicciones, porque es el dinero, por lo que incluso una pequeña reescalado factor que podría cambiar significativamente los costos.

Como tengo entendido, el modelo de regresión no hay nada especial acerca de los cero y los números negativos, con el fin de encontrar la mejor regresión hyperplane no importa si el resultado es en parte negativo.

Este es un primer intento, utilizando todas las variables que tengo. Así que hay espacio para el refinamiento.

¿Hay alguna forma de saber el modelo que la salida no puede ser negativo?

Answer 1

Supongo que usted está usando el estimador OLS en este modelo de regresión lineal. Puede utilizar la desigualdad limitada de mínimos cuadrados estimador, que va a ser la solución para un problema de minimización, en virtud de la desigualdad de las restricciones. Utilizando el estándar de notación matricial (vectores son vectores columna) el problema de minimización, se declaró como

$$\min_{\beta} (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) \\s.t.-\mathbf Z\beta \le \mathbf 0 $$

...donde $\mathbf y$ es $n \times 1$ , $\mathbf X$ es $n\times k$, $\beta$ es $k\times 1$ $\mathbf Z$ $m \times k$ matriz que contiene la muestra regresor de la serie de la longitud de la $m$ que se utilizan para la predicción. Tenemos $m$ desigualdad lineal restricciones (y la función objetivo es convexa, por lo que las condiciones de primer orden son suficientes para un mínimo).

El Lagrangean de este problema es

$$L = (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) -\lambda'\mathbf Z\beta = \mathbf y'\mathbf y-\mathbf y'\mathbf X\beta - \beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$$

$$= \mathbf y'\mathbf y - 2\beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta $$

donde $\lambda$ $m \times 1$ vector columna de la no-negativo de Karush -Kuhn -Tucker multiplicadores. Las condiciones de primer orden son (puede que desee revisar las reglas para la matriz y el vector de diferenciación)

$$\frac {\partial L}{\partial \beta}= \mathbb 0\Rightarrow - 2\mathbf X'\mathbf y +2\mathbf X'\mathbf X\beta - \mathbf Z'\lambda $$

$$\Rightarrow \hat \beta_R = \left(\mathbf X'\mathbf X\right)^{-1}\mathbf X'\mathbf y + \frac 12\left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\lambda = \hat \beta_{OLS}+ \left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\xi \qquad [1]$$

...donde $\xi = \frac 12 \lambda$, por conveniencia, y $\hat \beta_{OLS}$ es el estimador de la obtendremos a partir de mínimos cuadrados ordinarios de la estimación.

El método es totalmente elaborado en Liew (1976).