Hay algunos casos especiales, donde la Cresta de Regresión también puede conducir a coeficientes son cero ? Es ampliamente conocido, que el lazo está reduciendo los coeficientes de a favor o en cero, mientras que la Regresión ridge cant reducir a cero los coeficientes de
Respuesta
¿Demasiados anuncios?
Supongamos, como en el caso de los métodos de mínimos cuadrados, que están tratando de resolver un cálculo estadístico problema para un vector de valores) parámetro $\beta$ mediante la minimización de una función objetivo $Q(\beta)$ (tales como la suma de los cuadrados de los residuos). Ridge Regresión "regulariza" el problema mediante la adición de un no-negativo combinación lineal de los cuadrados de los parámetros, $P(\beta).$ $P$ es (obviamente) diferenciable con un único mínimo global en $\beta=0.$
La pregunta es, cuando es posible que el mínimo global de $Q+P$ a ocurrir en $\beta=0$? Supongamos, como en los métodos de mínimos cuadrados, que $Q$ es diferenciable en un barrio de $0.$ Porque $0$ es un mínimo global para $Q+P$ es un mínimo local, lo que implica que todas sus derivadas parciales son $0.$ La suma de la regla de diferenciación implica
$$\frac{\partial}{\partial \beta_i}(Q(\beta) + P(\beta)) = \frac{\partial}{\partial \beta_i}Q(\beta) + \frac{\partial}{\partial \beta_i}P(\beta) = Q_i(\beta) + P_i(\beta)$$ es cero en $\beta=0.$ Pero desde $P_i(0)=0$ todos los $i,$ esto implica $Q_i(0)=0$ todos los $i,$, lo que hace que $0$, al menos, un local mínimo para el objetivo original de la función de $Q.$ En el caso de mínimos cuadrados es una técnica cada mínimo local también es un mínimo global. Esto nos obliga a concluir que
Cuadrática de regularización de los mínimos Cuadrados de los procedimientos ("Cadena de Regresión") $\beta=0$ como una solución si y sólo si $\beta=0$ es una solución de la original unregularized problema.
