Métodos de regresión

Question

¿Cuál es la diferencia fundamental entre:

1. Regresión lineal
2. No regresión lineal
3. Paramétrico de regresión, y
4. No-paramétricos de regresión?

Cuándo debemos usar cada tipo? ¿Cómo sabemos cuál elegir? ¿Qué tipo de datos se necesitan? ¿Cuáles son los supuestos única para cada uno de ellos?

A veces, si usted va a través de documentos que reciba para ver una combinación de los nombres anteriores.

---

Así, las ideas presentadas anteriormente me han conducido a las siguientes conclusiones:

1) Regresión Lineal : los métodos de Regresión asociado con un modelo lineal, lineal con respecto a los parámetros de interés

2) Regresión No Lineal : los métodos de Regresión asociado con un modelo no lineal, no lineal con respecto a los parámetros de interés.

3) Paramétricos de Regresión: Regresión métodos asociados con un modelo lineal/no lineal del modelo (así llaman Lineal Paramétrica / No-lineal Paramétrica), pero los supuestos básicos de la regresión incluyendo aquellos asociados con los errores han de llevar la verdad.

4) No Paramétrico de Regresión: Regresión métodos asociados con un modelo lineal/no lineal del modelo (así llaman Lineal No Paramétrico / No-lineal No Paramétrica), pero los supuestos básicos de la regresión, incluyendo aquellos asociados con errores no son verdad.

Estoy en lo cierto ? Hay un error o engañosa idea aquí? Por favor responder.

Answer 1

Tengo miedo de que existen algunos métodos de representación de las diferencias entre los diferentes sub-disciplinas de las estadísticas. Me deixou a un pragmático, no técnico, la notación es bastante común en la Econometría. Además, en mi respuesta me deja agregar el punto 5. a la lista anterior, lo que denota semi-paramétrica de modelos de regresión.

Como un ejemplo ilustrativo considerar el caso de un aditivo modelo de regresión con respuesta $Y$, la función de regresión $g(X)$ y un error de proceso $U$, \begin{equation} Y=g(X)+U \end{equation} Generalmente se distingue entre 1. lineal y 2. no-lineal funciones de regresión, donde la "linealidad" se refiere a la linealidad en los parámetros. Los ejemplos más comunes utilizados en la Econometría son

1. $g(X)=\beta_0+\beta_1 X$

2. $g(X)=\beta_0X^{\beta_1}$

Ahora ambos casos 1. y 2., respectivamente, puede estar presente en 3. paramétrico y 5. semi-paramétrica de modelos de regresión. Un ejemplo prominente de 3. es $U \sim N(\mu,\sigma^2)$, mientras que en el caso de 5. está presente, si no queremos imponer una paramétrico suposición sobre la distribución de $U$.

Por último, la función de regresión $g(X)$ no puede contener parámetros. Si además no queremos imponer una paramétrico suposición sobre la distribución de $U$ tenemos un 4. no-paramétrica del modelo de regresión.

Observaciones. Como se señaló anteriormente, existen diferentes percepciones sobre cómo definir un no o un semi-paramétrica del modelo. Además, en caso de no aditivo regresiones notacional distinción se vuelve aún más complicado. Un ya clásico texto tratando de aclarar la discusión es "Econométricos Fundaciones" por Mittelhammer, Juez y Miller (2000, Cambridge Univ. Prensa).

Answer 2

Básicamente, depende del tipo de función que usted está tratando de modelo de datos:

• Lineal. $f(x)=a_1x_2+a_2x_2+ \cdots$ donde $a_i$ son los parámetros de interés.

• No lineal: $f(x)=x_1a_1 \frac{a_2}{a_4}+\exp(-a_2/(a_1*x_2))$ $a_i$ también están aquí los parámetros de interés, sino que forma un término no lineal ahora.

• Paramétricos: en realidad, los dos de arriba, pero donde se han física/aplicación significado de los parámetros $a_i$. por ejemplo, splines, donde los parámetros de interés representan el camino de una trayectoria.

• No Paramétricas: modelo Lineal para problemas no lineales. Mismo como splines, pero las bases son llamados núcleos. Esto es bueno, cuando se tiene una relación no lineal/modelo complejo, pero quisiera hacer algún tipo de selección de modelo (cuyo resumen $x_i$ es el más importante de sus datos, por ejemplo). Ver el Kernel (cresta) de regresión para más detalles sobre esto.

Edit: Gracias a whuber comentarios.

Answer 3

He encontrado todas las respuestas anteriores difícil de comprender: que puede ser debido a mis limitaciones. Pero he encontrado este enlace que me ayuden a entender la diferencia entre paramétricas y no paramétricas:
http://cran.r-project.org/doc/contrib/Fox-Companion/appendix-nonparametric-regression.pdf

En paramétrico de regresión o el común de la $y = mx+c$ forma, podemos especificar la forma de la relación como una línea recta.

En un no-paramétricos de regresión como MARTE o splining, permitimos que la técnica para determinar la forma de la relación. Podría ser una simple línea recta o una curva, o una suma de múltiples líneas rectas (a través de la bisagra de funciones, etc.) para obtener una relación no lineal.