Objetivo de mínimos cuadrados regularizados - Condiciones suficientes y necesarias para una solución única

Question

Consideremos alguna forma de regularización de Tikhonov, donde buscamos minimizar el objetivo descrito por:

$\min_{x \in \mathbb{R}^n} ||Ax - b||^2_2 + \lambda||Dx||^2_2$

(con matrices $A, D$ y vectores $b, x$ de forma adecuada, y algún escalar $\lambda >0$ ). He leído en un texto que existe una solución única para el objetivo anterior si y sólo si $ker(A) \cap ker(D) = \{0\}$ y estoy luchando con la dirección "si" de la prueba. En particular, he derivado la forma normal de la solución, que mucho satisfacer:

$(A^TA + \lambda D^TD)x = A^Tb$

y he demostrado que si $z \in ker(A) \cup ker(D)$ para los casos en los que el valor es distinto de cero $z$ , entonces si $x^*$ es una solución de la forma normal anterior, entonces también lo es $x^* + z$ . Sin embargo, no estoy seguro de cómo proceder para asumir que si $ker(A) \cap ker(D) = \{0\}$ entonces debemos tener un único $x^*$ como la solución.

EDIT: De hecho, ¿hay una solución más limpia que no requiera demostrar las dos condiciones del bicondicional por separado como he formulado?

Answer 1

Sugerencia: Tenga en cuenta que $$ \|Ax-b\|^2 + \lambda \|Dx\|^2 = \| \begin{bmatrix} A \\ \sqrt{\lambda} D \end{bmatrix} x - \begin{bmatrix} b \\ 0 \end{bmatrix}\|^2. $$

Answer 2

El hessiano del objetivo cuadrático convexo es $H=A^TA + \lambda D^TD$ , por lo que la solución es única si $\ker H$ es trivial.

Es sencillo comprobar que $Hx = 0$ si $Ax=0 $ y $Dx=0$ y así $\ker H = \ker A \cap \ker D$ .

Obsérvese que esto es más evidente si escribimos $H = \begin{bmatrix} A^T & \sqrt{\lambda}D^T \end{bmatrix} \begin{bmatrix} A \\ \sqrt{\lambda}D \end{bmatrix}$ .