Propiedad de la matriz definida positiva: ¿Por qué es cierto?

Question

Hace unos años que dejé el mundo de las matemáticas y ahora me dedico al aprendizaje automático. Pero en uno de los artículos que estoy leyendo, el autor sólo escribe (bueno, una redacción/notación ligeramente diferente)

$H$ es positiva definida por lo que $H^{-1}v$ = arg min $_t \{ t^\top H t - v^\top t \}$

y, sinceramente, no tengo ni idea de por qué es así.

La ayuda estaría bien, gracias.

Answer 1

O estás citando mal al autor, o el autor está equivocado. Observe que $t^\top Ht-v^\top t=\left\|H^{1/2}t-\frac12H^{-1/2}v\right\|_F^2-\left\|\frac12H^{-1/2}v\right\|_F^2$ . Como el segundo término es constante, la función objetivo se minimiza cuando $H^{1/2}t-\frac12H^{-1/2}v=0$ . Por lo tanto, el minimizador (único) es $t=\frac12H^{-1}v$ en lugar de $t=H^{-1}v$ .

En particular, cuando $H,v,t$ son números reales y $v=H=1$ la función objetivo es $f(t)=t^\top Ht-v^\top t=t^2-t$ . Su punto crítico (el valor de $t$ en el que $f'(t)=0$ ) es $t=\frac12=\frac12H^{-1}v$ no $t=1=H^{-1}v$ .

Answer 2

Creo que deberías tener $\frac{1}{2}$ frente a $t^THt$ . Pero la razón es que el gradiente de la función $f(t) = t^THt - t^Tv$

$$\nabla_t(t^THt - t^Tv) = (H+H^T)t-v = 2Ht-v$$

Esto es por linealidad y para la parte bi-lineal ver por ejemplo aquí . Para un punto crítico obtenemos $\frac{1}{2}H^{-1}v$ . Se trata de un mínimo local porque el hessiano es en realidad $H$ y es positiva definida. Para ver que se trata de un mínimo global, fíjate en que para cualquier dirección $t$ (un vector unitario) la función $f(st), s\in{[0, \infty)}$ tiende a infinito. Esto se debe a que

$$f(st) = s^2 t^THt - s t^Tv = s(s t^THt - t^Tv) > s,$$

cuando $s>\frac{ t^Tv}{t^THt}$ . Por C-S tenemos $t^Tv \leq |t||v| = |v|$ y $|t^THt|$ está limitada por el mayor valor propio de $H$ , así que fuera de una bola lo suficientemente grande $f$ será mayor que en el punto crítico.

Answer 3

El mínimo de $t^THtv^T t$ se alcanza cuando la derivada de primer orden es cero, es decir

$2 Ht v = 0$

En otras palabras

$t = \frac 1 2 H^{-1} v$

por lo que un factor de $\frac{1}{2}$ no está.