Hay muchos métodos para realizar la regularización -- $L_0$ , $L_1$ y $L_2$ regularización basada en la norma, por ejemplo. Según Friedman Hastie & Tibsharani La elección del mejor regularizador depende del problema: la naturaleza de la función objetivo real, la base utilizada, la relación señal/ruido y el tamaño de la muestra.
¿Existe alguna investigación empírica que compare los métodos y el rendimiento de los distintos métodos de regularización?
La página de la wikipedia: http://en.wikipedia.org/wiki/Integral_of_the_secant_function tiene bastante información histórica.
Algunos añadidos a la respuesta de @Donbeo
1) La norma L0 no es una norma en sentido estricto. Es el número de entradas no nulas en un vector. Esta norma no es claramente una norma convexa y no es una norma en el verdadero sentido. De ahí que se vean términos como "norma" L0. Se convierte en un problema combinatorio y por lo tanto es NP difícil.
2) La norma L1 da una solución dispersa (busque el LASSO). Hay resultados seminales de Candes, Donoho, etc. que muestran que si la solución verdadera es realmente dispersa, los métodos penalizados con L1 la recuperarán. Si la solución subyacente no es dispersa, no se obtendrá la solución subyacente en los casos en que p>>n. Hay buenos resultados que muestran que el Lasso es consistente.
3) Existen métodos como la Red Elástica de Zhou y Hastie que combinan soluciones penalizadas L2 y L1.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
