¿Son ya los mínimos cuadrados no negativos una forma de regularización? Añadiendo la restricción de que $\beta \geq 0$ (los coeficientes), ¿tiene sentido añadir otro término de regularización como en LASSO o en la regresión ridge?
Ideas, por favor
Respuesta
¿Demasiados anuncios?
Las restricciones de no negatividad comparten algunas similitudes fundamentales con la regularización. Ambas son un medio de imponer a priori conocimiento sobre la solución en forma de restricciones. Ambas pueden describirse también como priores bayesianos. Por ejemplo, la regresión de cresta corresponde a una prioridad gaussiana, el lazo corresponde a una prioridad laplaciana y las restricciones de no negatividad corresponden a una prioridad impropia que es cero para cualquier solución con parámetros negativos y plana en caso contrario.
Por otro lado, no se suelen ver restricciones de no negatividad descritas como regularización. Una diferencia es que las restricciones de no negatividad suelen utilizarse cuando se sabe con certeza que los parámetros no son negativos (por ejemplo, por razones físicas). Además, no hay grados de no negatividad: o los parámetros son no negativos o no lo son. En cambio, las técnicas de regularización suelen tener hiperparámetros que ajustan su fuerza, y la solución ordinaria, no regularizada, se obtiene cuando la fuerza de regularización llega a cero. Como consecuencia, podemos aprender el nivel adecuado de regularización, y esto podría considerarse una forma de conocimiento más débil que la impuesta por las restricciones de no negatividad. Por ejemplo, podríamos imponer un $\ell_1$ (es decir, lasso) sobre los parámetros si creemos que son dispersos, pero podemos aprender la intensidad de la penalización adecuada si no sabemos lo dispersos que son. Y, al final, podríamos descubrir que no son dispersos en absoluto (por ejemplo, que la intensidad óptima de la penalización es cero).
Las restricciones de no negatividad pueden combinarse ciertamente con varios tipos de regularización, ya que cada una corresponde a una forma diferente de a priori conocimiento de la solución. Por ejemplo, si creemos que la solución es a la vez no negativa y dispersa, tendría sentido imponer a la vez $\ell_1$ y restricciones de no negatividad (por ejemplo, véase el lazo no negativo).
