Norma L1 y norma L2

Question

Estaba estudiando el libro de texto de Stephen Boyd sobre optimización de convexos. Dice lo siguiente:

La distribución de la amplitud del residuo óptimo para el problema de aproximación de la norma l1 tenderá a tener más residuos cero y muy pequeños, en comparación con la solución de aproximación de la norma l2. Por el contrario, la solución de la norma l2 tenderá a tener relativamente menos residuos grandes (ya que los residuos grandes incurren en una penalización mucho mayor en la aproximación de la norma l2 que en la aproximación de la norma l1).

Entiendo por qué la segunda frase se mantiene obviamente, la norma l2 pone una pena más alta en un residuo más alto y por lo tanto habría menos residuos más altos. Pero, no puedo entender la primera frase. La norma I1 impone una mayor penalización a los residuos entre 0 y 1 que la norma I2 y por lo tanto me parece que la norma I2 debería producir más residuos pequeños. ¿Alguien puede explicarme por qué la norma l1 genera más residuos pequeños que la norma l2?

De hecho, las dos declaraciones suenan contradictorias entre sí. Si la norma L2 genera menos residuos grandes, suena como si generara más residuos pequeños que la norma L1.

Answer 1

Permítanme destacar las partes de la frase que deben agruparse:

La distribución de amplitud del residuo óptimo para el problema de aproximación de la norma l1 tenderá a tener más (cero y residuos muy pequeños) en comparación con la solución de aproximación de la norma l2. En cambio, la solución de la norma l2 tenderá a tener relativamente menos (grandes residuos) (ya que los residuos grandes incurren en una penalización mucho mayor en la aproximación de la norma l2 que en la aproximación de la norma l1).

Esto no significa que no se vean grandes residuos en problemas de l1-norma (hay que leer entre líneas). Esto significa que la minimización del error l1 tenderá a producir soluciones que tienen:

• algunos residuos que son más grande y
• muchos muy insignificante residuos.

En otras palabras, la distribución de los residuos será muy "puntiaguda". (Esto es bueno, por ejemplo, cuando se quiere ser robusto ante los valores atípicos: este método "permite" tener unos pocos residuos grandes (es decir, errores grandes) mientras se mantiene la mayoría de los errores pequeños).

Los residuos L2, en cambio, producirán:

• muy pocos gran residuales, porque se les penaliza mucho más,
• pero a costa de tener mucho más pequeño residuos que siguen siendo significativos.

En otras palabras, la distribución de los residuos será mucho menos "puntiaguda" y más "uniforme". (Esto es bueno cuando no se tienen valores atípicos y se quiere mantener el error global pequeño: producirá un mejor "ajuste").

Answer 2

En muchas situaciones, los datos se comportan como residuos mod 9, 90. En esos casos, es mejor y correcto utilizar la norma L1. Los residuos deben expandirse al máximo, y eso también, sin funciones de potencia [la norma L2 tiene cuadratura].