Regresión Ridge para minimizar el RMSE en lugar del MSE

Question

Publicado en mi pregunta idéntica en math.stackexchange :

Dada una matriz $X$ y un vector $\vec{y}$ La regresión por mínimos cuadrados ordinarios (MCO) trata de encontrar $\vec{c}$ tal que $\left\| X \vec{c} - \vec{y} \right\|_2^2$ es mínima. (Si suponemos que $\left\| \vec{v}\right\|_2^2=\vec{v} \cdot \vec{v}$ .)

La regresión Ridge intenta encontrar $\vec{c}$ tal que $\left\| X \vec{c} - \vec{y} \right\|_2^2 + \left\| \Gamma \vec{c} \right\|_2^2 $ es mínima.

Sin embargo, tengo una aplicación en la que necesito minimizar no la suma de errores al cuadrado, sino la raíz cuadrada de esta suma. Naturalmente, la raíz cuadrada es una función creciente, por lo que este mínimo estará en el mismo lugar, por lo que la regresión OLS seguirá dando el mismo resultado. Pero, ¿lo hará la regresión ridge?

Por un lado, no veo cómo minimizar $\left\| X \vec{c} - \vec{y} \right\|_2^2 + \left\| \Gamma \vec{c} \right\|_2^2 $ resultará necesariamente en la misma $\vec{c}$ como minimizar $\sqrt{ \left\| X \vec{c} - \vec{y} \right\|_2^2 } + \left\| \Gamma \vec{c} \right\|_2^2 $ .

Por otra parte, he leído (aunque nunca he visto demostrado) que minimizar $\left\| X \vec{c} - \vec{y} \right\|_2^2 + \left\| \Gamma \vec{c} \right\|_2^2 $ (regresión de cresta) es idéntica a minimizar $\left\| X \vec{c} - \vec{y} \right\|_2^2$ con la condición de que $ \left\|\Gamma \vec{c}\right\|_2^2 < t$ donde $t$ es algún parámetro. Y si este es el caso, entonces debería dar como resultado la misma solución que minimizar $\sqrt{ \left\| X \vec{c} - \vec{y} \right\|_2^2}$ con la misma restricción.

Answer 1

Minimizar

$$ \left\| X \vec{c} - \vec{y} \right\|_2^2 + \left\| \Gamma \vec{c} \right\|_2^2 $$

y minimizar

$$ \sqrt{\left\| X \vec{c} - \vec{y} \right\|_2^2} + \left\| \Gamma \vec{c} \right\|_2^2 $$

no directamente se refieren a minimizar ${\left\| X \vec{c} - \vec{y} \right\|_2^2}$ o $\sqrt{\left\| X \vec{c} - \vec{y} \right\|_2^2}$ bajo la restricción $\left\|\vec{c}\right\|_2^2 < t$ .

Será necesaria una conversión entre $t$ y $\Gamma$ que será diferente para las dos funciones de costes diferentes. Así pues, la minimización de MSE y RMSE con un mismo término de penalización definido por $\Gamma$ se relacionará con una minimización restringida con diferente limitaciones $t$ .

Obsérvese que para cada solución $\vec{c}$ para minimizar el MSE con el término de penalización $\Gamma_1$ habrá un plazo de penalización $\Gamma_2$ que da como resultado la misma solución $\vec{c}$ al minimizar el RMSE penalizado. Así que para muchos fines prácticos se puede utilizar cualquier método/software que resuelva el problema del RMSE penalizado, pero sólo es necesario utilizar una función de coste diferente cuando, por ejemplo, se realiza una validación cruzada para seleccionar el ideal $\Gamma$ .