¿Qué puede ' t se expresa como un modelo lineal?

Question

Decir que tengo variable de resultado $Y_i$ y predictores $X_{i1}$ $X_{i2}$ para un punto de datos $i$. Wikipedia dice que un modelo es lineal cuando:

la media de la variable de respuesta es una combinación lineal de los parámetros (coeficientes de regresión) y las variables predictoras.

Yo pensaba que esto significaba que un modelo no puede ser más complicado de lo que: $Y_i = \beta_1 X_{i1} + \beta_2 X_{i2}$. Sin embargo, más allá de la lectura, me enteré de que podía manejar no-lineal "interacciones" de los predictores como en $Y_i = \beta_1 X_{i1} + \beta_2 X_{i2} + \beta_3 X_{i1}\ X_{i2}$ ver $X_{i1}\ X_{i2}$ como otro predictor (que pasa a ser dependiente de $X_{i1}$$X_{i2}$). Esto parece significar que usted puede usar cualquiera (lineal o no lineal) de la función de los predictores como $\log(X_{i1} / X_{i2}^2)$ o lo que sea. Conceptualmente, este tipo de "recodificación" parece que debería de trabajo para los coeficientes así.

Así que: ¿Qué son exactamente los límites de la regresión lineal, dado que puede hacer este tipo de manipulación?

Answer 1

El parámetro debe entrar en forma lineal en la ecuación. Por lo tanto algo así como $E(Y)=\beta_1 \cos(\beta_2 x_i + \beta_3)$ no califica. Pero usted puede tomar las funciones de las variables independientes como sigue:

$E(Y)=\beta_0 + \beta_1X_i + \beta_2X^2 + \beta_3 e^{X_i}$

por ejemplo.

Por lo que los límites de regresiones lineales son: la media de los valores de $Y$ es el parámetro de formulario veces (cosas de la variable independiente) + parámetro veces (cosas de la variable independiente más)... y así sucesivamente.

Answer 2

(Casi) Todo lo que puede ser expresado como un modelo lineal, si no lo limitan a un número finito de parámetros.

Esta es la base del análisis funcional y el núcleo de regresión (como en SVMs con los núcleos). Por ejemplo, la serie de Fourier - puede producir una infinita seno/coseno de la serie, donde la amplitud de la onda de cada una de las frecuencias se presenta un aprendidas coeficiente, y usted puede aprender (casi) cualquier función (cualquier función cuyo cuadrado es integrable - que es un muy débil condición).

El Kernel de máquinas, y el análisis funcional, son una idea maravillosa, y hacer que el mundo parecen muy bonitas, prácticamente todo es lineal!

Ver http://en.wikipedia.org/wiki/Kernel_methods

El clásico de estadística probabilística de referencia es la Gracia Wahba del Spline Modelos para Datos de Observación.