¿Cómo puedo estimar los errores estándar de los coeficientes cuando utilizo la regresión ridge?

Question

Estoy utilizando la regresión ridge en datos altamente multicolineales. Utilizando OLS obtengo grandes errores estándar en los coeficientes debido a la multicolinealidad. Sé que la regresión en cresta es una forma de resolver este problema, pero en todas las implementaciones de la regresión en cresta que he visto, no hay errores estándar para los coeficientes. Me gustaría tener alguna forma de estimar cuánto está ayudando la regresión de cresta viendo cuánto están disminuyendo los errores estándar de coeficientes específicos. ¿Hay alguna forma de estimarlos en la regresión ridge?

Answer 1

Creo que boostrap sería la mejor opción para obtener SEs robustos. Esto se hizo en algunos trabajos aplicados utilizando métodos de contracción, por ejemplo Análisis de los datos del Consorcio Norteamericano de Artritis Reumatoide mediante un enfoque de regresión logística penalizada (Actas BMC 2009). También hay un buen artículo de Casella sobre el cálculo SE con modelo penalizado, Regresión penalizada, errores estándar y Lassos bayesianos (Análisis Bayesiano 2010 5(2)). Pero están más preocupados por lazo y elasticnet penalización.

Siempre he pensado en la regresión ridge como una forma de obtener mejores predicciones que las MCO estándar, en las que el modelo no suele ser parcimonioso. Para la selección de variables, la lazo o elasticnet son más apropiados, pero entonces es difícil aplicar un procedimiento bootstrap (ya que las variables seleccionadas cambiarían de una muestra a otra, e incluso en el interior $k$ -bucle doble utilizado para optimizar el $\ell_1$ / $\ell_2$ parámetros); éste no es el caso de la regresión ridge, ya que siempre se tienen en cuenta todas las variables.

No tengo ni idea de paquetes R que puedan dar esta información. No parece estar disponible en los paquetes de glmnet (véase el artículo de Friedman en JSS, Vías de regularización para modelos lineales generalizados mediante descenso por coordenadas ). Sin embargo, Jelle Goeman, autor del penalizado paquete discutan también este punto. No encuentro el PDF original en la web, así que me limito a citar sus palabras:

Es muy natural preguntarse los errores estándar de regresión u otras cantidades estimadas. estimadas. En principio, estos errores pueden calcularse fácilmente, por ejemplo utilizando el bootstrap.

Aun así, este paquete no proporciona deliberadamente deliberadamente. La razón es que errores estándar no son muy significativos para estimaciones fuertemente sesgadas, como las que surgen penalizados. Penalizado es un procedimiento que reduce la varianza la varianza de los estimadores introduciendo un sesgo sustancial. El sesgo de cada estimador es, por tanto, un componente de su error cuadrático medio, mientras que su varianza puede contribuir sólo una pequeña parte.

Por desgracia, en mayoría de las aplicaciones de es imposible obtener una estimación suficientemente precisa del sesgo. Cualquier cal- sólo puede ofrecer una evaluación de la varianza de las estimaciones. Las estimaciones fiables del sesgo sólo si se dispone de estimaciones insesgadas fiables, lo que no suele ser el caso en situaciones en las que se utilizan estimaciones penalizadas.

Informar de un error estándar de un una estimación penalizada parte de la historia. Puede dar un impresión errónea de gran precisión, ignorando por completo la inexactitud causada por el sesgo. Es ciertamente un error hacer confianza de confianza que sólo se basan en evaluación de la varianza de las estimaciones, como la confianza intervalos de confianza basados en bootstrap.

Answer 2

Asumiendo que el proceso de generación de datos sigue los supuestos estándar de OLS, los errores estándar para la regresión ridge vienen dados por:

$\sigma^2 (A^T A + \Gamma^T \Gamma)^{-1} A^T A (A^T A + \Gamma^T \Gamma)^{-1}$

La notación anterior sigue la notación wiki para regresión de cresta . Específicamente,

$A$ es la matriz covraiate,

$\sigma^2$ es la varianza del error.

$\Gamma$ es la matriz de Tikhonov elegida adecuadamente en la regresión ridge.

Answer 3

La regresión Ridge es un subconjunto de la regularización de Tikhonov (Tk) que normaliza los factores de suavizado. El término de regularización más general $\Gamma ^T\Gamma$ se sustituye en la regresión ridge por $\text{$ \lambda $I}$ donde $\text{I}$ es la matriz identidad, y $\lambda$ es un multiplicador de Lagrange (es decir, de restricción), también llamado comúnmente multiplicador de alisamiento, contracción, Tikhonov o factor de amortiguación . Tanto Tk como la regresión de cresta se utilizan para resolver mal planteado integrales y otros problemas inversos. "Un problema inverso en ciencia es el proceso de calcular a partir de un conjunto de observaciones los factores causales que las produjeron: por ejemplo, calcular una imagen en tomografía por ordenador, reconstruir fuentes en acústica o calcular la densidad de la Tierra a partir de mediciones de su campo gravitatorio. aquí " SPSS contiene un código suplementario que proporciona la desviación estándar de todos los parámetros y se pueden derivar parámetros adicionales utilizando la propagación de errores como en el apéndice de este papel .

Lo que generalmente no se entiende sobre la regularización de Tikhonov es que la cantidad de suavizado tiene muy poco que ver con el ajuste de la curva, el factor de suavizado debe utilizarse para minimizar el error de los parámetros de interés. Usted tendría que explicar mucho más sobre el problema específico que está tratando de resolver para utilizar la regresión ridge correctamente en algún contexto de problema inverso válido, y muchos de los artículos sobre la selección de factores de suavizado, y muchos de los usos publicados de la regularización de Tikhonov son un poco heurísticos.

Además, la regularización de Tikhonov es sólo un tratamiento de problemas inversos entre muchos otros. Siga el enlace a la revista Problemas inversos .