En otras palabras, ¿es factible que alguna de las diversas técnicas de regresión penalizada (como la regresión ridge, el lazo y la red elástica) pueda errar completamente en la solución óptima de un modelo de regresión debido a unos valores iniciales mal elegidos para los parámetros del modelo?
Respuestas
¿Demasiados anuncios?
Tengo entendido que los valores iniciales (que suelen tomarse como cero para los no interceptos) no son tan influyentes para estas técnicas de penalización y modelos como el logístico. Y la "solución óptima" no está muy bien definida. Es necesario que nos diga más. Para estas técnicas lo que suele ser la decisión más difícil es la de cuánta penalización utilizar.
Andre Miller
Puntos
182
Si la pérdida y la penalización son funciones convexas de sus parámetros como en una regresión lineal o GLM entonces no, usted no se atascará en el lugar equivocado (aunque podría tomar un tiempo para llegar a donde usted quiere ir). Por otro lado, si está entrenando (digamos) una red neuronal multicapa con pérdida cuadrática utilizando backprop y una penalización L2, entonces puede atascarse muy fácilmente porque la pérdida no es convexa como función de los parámetros. En estos casos, la gente suele esperar obtener una buena solución local (que podría generalizar mejor de todos modos), no la mejor solución.
