¿Comparar el % de modelo a modelo MLR $Y_i = (\beta_0 + \beta_1x_{1i} + \beta_2x_{2i} + \epsilon_i)^{\beta_3}$?

Question

Si tengo teóricas razones para suponer los datos se podrían caber con una inusual ecuación como la siguiente:

¿$$Y_i = (\beta_0 + \beta_1x_{1i} + \beta_2x_{2i} + \epsilon_i)^{\beta_3}$$

Can I use Ordinary Least Squares Multiple Linear Regression after a transformation to estimate parameters $ \beta{_0,_1,_2,_3}$? En caso afirmativo, ¿qué transformación?

Si no es así, ¿hay algún paquete especializado en R (y la breve lectura) que podría ayudarme a comparar el ajuste y los residuales de este modelo contra un modelo MLR más típico?

Gracias.

Código de ejemplo:

## while I can run "nls," I cannot get $\epsilon$ inside parentheses nor
## can I have four BETAs

var1 <- rnorm(50, 100, 1)
var2 <- rnorm(50, 120, 2)
var3 <- rnorm(50, 500, 5)

## make a model without $\beta_1$ and $\beta_2$ and with $\epsilon_i$ on outside
nls(var3 ~ (a + var1 + var2)^b, start = list(a = 0.12345, b = 0.54321))

Nonlinear regression model
  model: var3 ~ (a + var1 + var2)^b
  data: parent.frame()
   a        b 
 475.5234   0.9497 
 residual sum-of-squares: 1365

Number of iterations to convergence: 6 
Achieved convergence tolerance: 8.332e-08

## FAILS with exponent on left-hand side and $\epsilon$ inside parentheses
nls(var3^(1/b) ~ (a + var1 + var2), start = list(a = 0.12345, b = 0.54321))
Error in eval(expr, envir, enclos) : object 'b' not found

## FAILS with all BETAs
nls(var3 ~ (a + b*var1 + c*var2)^d, start = list(a = 4, b = 1, c = 1, d = 1))
Error in numericDeriv(form[[3L]], names(ind), env) : 
Missing value or an infinity produced when evaluating the model

Answer 1

No (al menos no con nls)

A partir de su documentación, nls adapta a las funciones de la forma $Y_i| \theta, X_i = f(\theta, X_i) + \epsilon$ (y es la MLE en el caso de que $\epsilon$ es iid Normal), por lo que su relación no está en la no-lineal de mínimos cuadrados de la clase.

Vamos a ver si podemos describir la distribución de $Y$ podría seguir. Deje $Z_i = \beta_0+\beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$ que $\epsilon_i$$N(0, 1)$,$Z_i \sim N(\beta_0+\beta_1 x_{1i} + \beta_2 x_{2i}, 1)$. Si $\beta_3 = 2$, por ejemplo, podríamos tener ese $Y_i$ es no-central $\chi^2_1$.

Sí (usando Box-cox transformaciones)

Si $Y_i = Z_{i}^{\beta_3}$ es un uno-a-uno de la transformación (es decir, a un mínimo, $\beta_3$ no es uniforme), a continuación, sólo han redescubierto el de box-cox de la familia de transformaciones: $$ Y(\lambda) = \begin{cases} (\lambda Z + 1)^{1/\lambda}, \lambda >0 \\ e^Z, \lambda = 0 \end{casos}, $$ que claramente incluye la situación que usted describe. Clásicamente, $\lambda$ es estimado a través del perfil de probabilidad, es decir, el uso de diferentes valores de $\lambda$ y la comprobación de la RSS para el ajuste de mínimos cuadrados. Un Análisis de las Transformaciones Revisited (1981) parece dar un buen repaso de la teoría. La función boxcox en el paquete MASS hace una estimación. Si $\beta_3$ es un parámetro de interés, más que una molestia que usted puede necesitar para hacer algo más sofisticado.

Answer 2

Creo que Andrew M han dado una buena respuesta; sólo quiero hacer un par de otros puntos relacionados.

Como Andrew M indica que no puede hacer el modelo es directamente con no lineal de mínimos cuadrados; sin embargo, usted puede colocar esta estrechamente relacionado con el modelo no lineal LS:

$Y_i = (\beta_0 + \beta_1x_{1i} + \beta_2x_{2i})^{\beta_3} + \epsilon_i$

Esto puede no parecer mucho, pero tendría valor en la obtención de una estimación inicial de $\beta_3$ para obtener un buen punto de partida para la optimización del modelo actual (bien sea directamente, o a través de Box-Cox).

Tenga en cuenta también que si $Y$ es estrictamente positivo, se puede considerar que esta transformación:

$\log(Y_i) = \beta_3 \log(\beta_0 + \beta_1x_{1i} + \beta_2x_{2i} + \epsilon_i)$

De nuevo, una ligera modificación (tirando el término de error fuera de los paréntesis) permite no lineal de mínimos cuadrados ajustada. Entonces, usted puede reweight el uso de la estimación resultante de $\beta_3$ a mejorar las estimaciones. La única dificultad sería si usted golpea una situación en la que el amueblada valor dentro de la sesión no era estrictamente positivo.

[Si vas a preparar para considerar la posibilidad de regresión de Weibull (es decir, donde el Y's son de Weibull con una media depende de las X), usted podría encontrar que usted puede hacer algo útil con la que. Que iba a cambiar la forma de la relación con la x, sin embargo. Un enfoque sería que, dado un valor de $\beta_3$ usted podría considerar la posibilidad de la transformación de $Y$ ($Y^*=Y^{1/\beta_3}$)y ajuste exponencial GLM con identidad enlace a $Y^*$, en lugar de una Gaussiana. Esta sería otra vez corresponden a un modelo Weibull para $Y$, pero con los parámetros de entrar en la forma en que se sugieren). Esto podría hacerse a través de una rejilla de $\beta_3$ valores para maximizar la probabilidad de que.]