5 votos

¿Cómo introducir conocimiento a priori sobre los factores en la regresión lineal?

Ha habido un montón de investigación sobre ponderado de regresión lineal. La mayoría de los debates sobre el peso de las muestras, por ejemplo, el peso en $y$, en lugar de peso en $X$,
\begin{align} X &= [X_{0}, X_{1}, ... X_{n}] \\ y &= \beta X \end{align} En la mayoría de los problemas de ingeniería, existen un conocimiento a priori acerca de los factores $X_{i}$. Sabemos que algunos de los factores son "primarias" de los factores, con una fuerte lógica de negocio de razones. Por ejemplo, los precios de la vivienda ($y$) y la mediana de ingreso de código postal.

Me pregunto si no es un enfoque similar a 'el peso de los factores en el modelo de regresión, que se puede introducir por encima de un conocimiento a priori.

Esto debería ser muy útil cuando nos ocupamos de la multicolinealidad. Para establecer una correlación de los factores, se puede dar mayor peso al factor de que sabemos que es importante. Sin embargo, un conocimiento a priori no es realmente una distribución acerca de la $\beta$, pero sólo un peso

¿Alguien puede dar alguna aclaración aquí?

3voto

avid Puntos 161

Como @DeltaIV insinuó en su comentario, los métodos Bayesianos encajan perfectamente en esto. Usar la regresión lineal a la manera bayesiana significa tratar los parámetros (es decir, los coeficientes y la desviación estándar del término de error) como variables aleatorias. Si cree que un determinado coeficiente tiene más probabilidades de tener ciertos valores, puede elegir una distribución previa para esa variable aleatoria que pone más peso en los valores en cuestión.

0voto

Loren Pechtel Puntos 2212

Yo no soy consciente de que cualquier método que se lleva a pistas como "Variable X1 es más importante que la Variable X3".

Como los comentarios a la OP reflexionar, esto no es directamente un Bayesiano de regresión problema, ya que usted está interesado en la ponderación de la inclusión de las variables, no (directamente) en la ponderación de los posibles valores de los coeficientes.

Tres pensamientos sobre lo que podría hacerse:

  1. El uso de Regresión Bayesiana y dar su preferido variables de la costumbre de los priores, mientras que da no preferidos variables de dispersión de inducción de los priores, tales como la Herradura. No sé si esto realmente funciona, pero la idea sería darle la no-preferido variables más oportunidad de que sus coeficientes de ser conducido a cero.

  2. Modificar una LARS-estilo de regresión para el peso de los ángulos inversamente proporcional a si son favorecidos variables o no.

  3. Modificar una regresión paso a paso (no me gusta paso a paso, pero sería más fácil de modificar que prefiere agregar el preferido de las variables primero. O quizás se inicia con la preferida de las variables y, a continuación, agrega o resta de las otras variables en los pasos. (Ver esta otra publicación.)

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X