Bayesiano previo correspondiente a coeficientes de regresión penalizados.

Question

Estoy trabajando en un Bayesiano de Regresión problema en el que me gustaría para la estimación de los coeficientes beta sujetos a esta restricción (la pena):

$\sum|\beta_i|<C$ o, de manera similar $\sum \beta_i^2<C$

Que es, básicamente, un Lazo o L2 Pena.

Ahora, si he entendido bien, se limitan los coeficientes a través de la previa en el análisis Bayesiano. Por lo tanto mi pregunta es, ¿qué sería de un adecuado antes de ser para las Betas? Debo señalar, que para mi caso, las betas están restringidos a ser positivos, no puede ser negativo.

Answer 1

La penalización de L2 penaliza la suma de betas al cuadrado, pero no a través de una restricción como$< C$. La penalización de L1 es el lazo. Para el lazo bayesiano, vea el documento JASA 2008 de Trevor Park y George Cassella.

Answer 2

Para el lazo de la pena de esto corresponde a una doble exponencial antes - siempre y cuando usted está tomando la parte posterior modo como su estimación. Si la restricción de las betas a ser positiva, entonces usted tiene una exponencial antes. El parámetro de la distribución exponencial $\lambda$ tiene una correspondencia con su $C$ en que puede elegir un valor de cada uno de los que el mismo naximum se logra. El bayesiana anterior es el langrangian forma (en escala logarítmica) de la restricción. Por la cresta de la pena de constraning el parámetro a ser positivo es sólo una distribución normal truncada.

Answer 3

El $L_2$ restricción en los coeficientes es la regularización de Tikhonov.

Resulta que para el caso de que el estado es normal multivariante y el modelo es lineal, la posterior es también normal multivariante. Resulta que la media de la distribución posterior se produce en un punto en el espacio de parámetros que también puede ser obtenido por la regularización de Tikhonov y la relación entre el parámetro de regularización de Tikhonov y el equivalente multivariante normal antes es bastante simple.

Este es el libro de texto el material que se puede encontrar en Tarantola del libro de texto, entre otros lugares.

Cuando el modelo de ajuste es no lineal, o hay restricciones adicionales sobre los parámetros (tales como su nonnegativity restricción), o la anterior no es MVN, todo se vuelve mucho más complicado y este simple equivalencia se rompe.

Answer 4

Si desea que su$\beta$ s no sea negativo y sumar a un valor dado, entonces parece que un Dirichlet escalado tendría sentido.