Tomando derivado de la $L_0$-norma, $L_1$-norma, $L_2$-norma

Question

Estoy un poco confundido acerca de la toma de derivados w.r.t. las normas.

$L_0$norma: $L_0$ significa que el número de no-cero de los elementos en un vector. Decir, estoy interesado en un $x_i$.

$$\displaystyle\min_{i}(y_i-x_i)^2+c\|x_i \|_{0}$$ La respuesta depende de a $x_i=0$ o no?
Mi trabajo: tome la norma de $x_i$, que es una constante, entonces, la derivada, por lo que es 0.

$L_1$norma: Manhattan distancia. ¿Qué debo hacer? $$\displaystyle\min_{i}(y_i-x_i)^2+c\|x_i \|_{1}$$

$L_2$norma:la distancia Euclídea. ¿Qué debo hacer?
$$\displaystyle\min_{i}(y_i-x_i)^2+c\|x_i \|_{2}$$

Answer 1

Voy a suponer que usted está hablando acerca de derivadas parciales y gradientes. Todos los de la norma las funciones que se declaró no son diferenciables en algún lugar:

• [$L_0$] Esto es igual a cero (como se señaló), pero sólo en aquellos lugares donde no es interesante. Donde es interesante es no diferenciable (tiene discontinuidades de salto).
• [$L_1$] Esta norma no es diferenciable con respecto a una coordenada donde coordenada es cero. En otros lugares, las derivadas parciales son sólo constantes, $\pm 1$ dependiendo del cuadrante.
• [$L_2$] Por lo general la gente usa la 2-norma al cuadrado , de modo que es diferenciable incluso a cero. El gradiente de $\|x\|_2^2$$2x$, pero sin el cuadrado es $x/\|x\|$ (es decir, puntos de distancia de cero). El problema es que no es derivable en cero.

Si usted está tratando de hacer gradiente de la pendiente con estas formulaciones, el único que realmente funciona es el cuadrado de $L_2$ norma, debido a que es el único que es diferenciable en todas partes.

Answer 2

Para $L_2$ $L_1$ usted puede hacer gradiente de la pendiente o lo que sea, se llama a los métodos de Regresión contraída y LAZO, respectivamente.