¿Por qué estudiar la regresión lineal?

Question

Dadas dos variables aleatorias $\xi$ $\eta$ podemos calcular su "coeficiente de correlación" $c$, y la forma de la línea de mejor ajuste entre estas dos variables aleatorias. Mi pregunta es ¿por qué?

1) No son variables aleatorias, $\xi$ $\eta$ que son dependientes de la peor manera posible, es decir, $\xi = f(\eta)$ y a pesar de esto $c=0$. Si uno piensa que a lo largo de la regresión lineal, entonces sería totalmente cegado a este.

2) ¿por Qué lineal específicamente? Existen otros tipos de relaciones que pueden existir entre las variables aleatorias. ¿Por qué solo que uno de todos los demás?

Answer 1

Estoy de acuerdo que no todas las relaciones son lineales en sí mismo, sino un buen montón de relaciones se pueden aproximar linealmente. Hemos visto muchos casos de este tipo en matemáticas, tales como la serie de Taylor o de series de Fourier, etc. El punto clave aquí es, geomatt22 dijo en el comentario, usted puede, en general, transformar la no lineal de los datos y aplicar algún tipo de transformación con funciones de base y linealizar la relación. La razón de las universidades solo la dirección de 'modelos de regresión lineal múltiple (incluyendo modelos de regresión simple) es porque son los bloques de construcción de los modelos de un nivel más avanzado que también son lineales.

Matemáticamente hablando, como usted puede probar que una cierta aproximación lineal es denso en un espacio de Hilbert, entonces usted será capaz de utilizar la aproximación para representar una función en el espacio.

Answer 2

El modelo que usted se refiere, la regresión lineal simple, una.k.a. "la línea de mejor ajuste" (estoy confuso modelo y método de estimación de aquí), es sin duda muy simple (como el nombre lo dice). Por qué estudiar? Puedo ver un montón de razones. En el siguiente supongo que el concepto de variable aleatoria ha sido, al menos de manera informal introdujo, ya que usted menciona en su pregunta.

1. pedagógico: de, por supuesto, que es obvio que los verdaderos valores de variables aleatorias con finitas de segundo orden momentos formar un espacio de Hilbert. Tal vez ya era evidente cuando se estudió en primer lugar la teoría de la probabilidad. Pero las estadísticas no solo le enseño a los estudiantes de matemáticas: hay un público más amplio, desde la física a la economía, a la ciencia de la computación, ciencias sociales, etc. Estos estudiantes pueden encontrar estadísticas temprano en el curso de su estudio. Ellos pueden o no pueden haber sido expoused al álgebra lineal, e incluso en el primer caso, puede que no lo han visto desde el más abstracto punto de vista de un curso de matemáticas. Para estos estudiantes, el concepto de la aproximación de una variable aleatoria por otra variable aleatoria no es tan inmediata. Incluso la propiedad básica de la simple modelo lineal, es decir, el hecho de que el error y el predictor son ortogonales variables aleatorias, a veces es sorprendente para ellos. El hecho de que usted puede definir un "ángulo" entre las variables aleatorias ("desagradable" objetos! medibles funciones de probabilidad espacio para un espacio medible) que puede ser obvio para usted, pero no necesariamente a un estudiante de primer año. Por lo tanto, si el estudio de los espacios vectoriales se inicia con el buen ol' plano Euclidiano, no tiene sentido iniciar el estudio de modelos estadísticos con la más simple?
2. procedimiento: con la regresión lineal simple se puede introducir el concepto de estimación de parámetros, y por lo tanto el método de mínimos cuadrados, los errores estándar, etc. en su caso más simple. Si usted piensa que esto es trivial, tenga en mente que una gran cantidad de profesionales, que el uso de estadísticas en su trabajo/investigación, pero no son estadísticos, son profundamente confundido acerca de la frecuentista intervalo de confianza! De todos modos, una vez el caso más fácil ha sido cubierto, usted puede ir a la regresión lineal múltiple. Una vez que esto se logra, entonces, todos los modelos lineales están disponibles para la estimación. En otras palabras, si puedo ajustar el modelo a $\xi = \beta_0+\sum_{i=1}^N \beta_i \eta_i +\epsilon$ (por MCO, o LARS en caso de que la regularización es necesario, etc.), entonces me caben todos los modelos de la clase $\xi = \sum_{i=0}^N \beta_i \phi(\eta_i) +\epsilon$. Esta es una poderosa clase de modelos, que, como se señaló por @DaeyoungLim, pueden participar en todas las funciones en el espacio de Hilbert, si usted tiene un conjunto infinito de funciones de base, y si generan un subespacio vectorial que es denso en el espacio de Hilbert.
3. práctica: existen numerosas aplicaciones de éxito de regresión lineal simple. La ley de Okun en la economía, la ley de Hooke, ley de Ohm y la ley de Charles en la física, la relación entre la presión sistólica y la edad en la medicina (no tengo idea de si tiene un nombre!) son todos ejemplos de regresión lineal simple, con diferentes grados de precisión.

Answer 3

Una razón más es la hermosa manera de regresión da un tratamiento unificado de técnicas como el análisis de VARIANZA. Para mí, el habitual 'elementary' tratamiento de ANOVA parece muy oscuro, sin embargo, una regresión basada en el tratamiento es claro como el cristal. Sospecho que esto tiene mucho que ver con la manera en que los modelos de regresión hacer explícitos algunos de los supuestos que en 'elementary' tratamientos son tácito y no examinadas. Además, la claridad conceptual que ofrecen una perspectiva de unificación es acompañado por prácticas similares beneficios a la hora de implementar los métodos de software estadístico.

Este principio se aplica no sólo a ANOVA, pero a extensiones como limitaciones de los splines cúbicos--que en particular la dirección de su segunda pregunta.

Answer 4

Regresión lineal de la popularidad se debe en parte a la interpretación, es decir, la gente no técnica puede entender el parámetro coeficientes con un poco de explicación. Esto añade una gran cantidad de valor en situaciones de negocios, donde los usuarios finales de la salida o predicciones no pueden tener un profundo conocimiento de las matemáticas/estadísticas.

Sí, hay supuestos y limitaciones con esta técnica (como con todos los métodos), y no puede proporcionar el mejor ajuste en muchos casos. Pero la Regresión Lineal es muy robusto, y a menudo pueden llevar a cabo bastante bien, incluso cuando los supuestos son violados.

Por estas razones, es definitivamente vale la pena estudiar.

Answer 5

Algo puede no ser dirctly relacionada.

Si tienes dos serie $x$ y $y$ que $cov(x,y) = 0$, y si sospecha que hay relación entre $x$y $y$. Usted podría hacer un complot entre $y$y $x$ a examinar su relación.