Minimización global y mínimos cuadrados

Question

Tengo un poco de problemas para probar lo siguiente:

Dejemos que $A \in \mathbb{R}^{m\times n}$ y $b \in \mathbb{R}^{m}$ y definir $f: \mathbb{R}^n \to \mathbb{R}$ por $f(x) = ||Ax - b||^2$ . ¿Cómo puedo demostrar que $x_*$ es un minimizador global para $f$ si y sólo si $x_*$ resuelve $A^TAx = A^Tb$ ?

Agradecería cualquier ayuda para probarlo.

Answer 1

Para mostrarlo se necesitan básicamente dos componentes

1. para demostrar que la solución de mínimos cuadrados es un minimizador local. Para demostrarlo podríamos mostrar que el gradiente desaparece. Como el gradiente $$ \partial_x f(x)= 2A^TAx-2A^Tb $$ Esto se satisface directamente en $x_*$

2. para mostrar el $f(x)$ es una función convexa. Podemos demostrar que el hessiano es constante y positivo definido $$ \partial_{xx} f(x)= 2A^TA $$ Así, $f(x)$ es convexo, y el punto crítico $x_*$ también es un minimizador local.

Para una función convexa todo minimizador local es también minimizador global, QED.