Resolver $Ax = b$ con la matriz simétrica singular - norma mínima

Question

¿Cómo puedo resolver $Ax = b$ aproximadamente con la norma mínima si tengo matriz así?

$$ A =\begin{pmatrix} 1 & -1 & 0 \\ -1 & 0 & 1 \\ 0 & 1 & -1 \\ \end{pmatrix} $$

• $b^T = (1, 1, 1)$

$A$ es singular, pero también simétrica, por lo que no puedo utilizar esta fórmula: $x_0 = A^T(AA^T)^{-1}b$ porque $AA^T$ también es singular.

Pude hacer la descomposición singular y el pseudoinverso de Moore-Penrose, por si ayuda con este problema de alguna manera. Pero no tengo ni idea de qué hacer a partir de aquí.

Answer 1

Asumiendo primero que no sabemos mucho sobre esta matriz en particular, podemos resolver la Tikhonov regularizado ecuaciones normales:

$$({\bf A}^T{\bf A}+\lambda {\bf I}){\bf x = A}^T{\bf b}$$

Esto corresponde a la resolución del siguiente problema de minimización de la norma:

$${\bf x}_{optimal}=\min_{\bf x}\{\|{\bf Ax-b}\|^2_2 + \lambda\|{\bf x}\|^2_2\}$$

Como las normas deben ser reales y no negativas, vemos que el primer término será $0$ si conseguimos la solución perfecta. Pero en caso de que la solución perfecta exista en todo un subespacio, necesitamos el segundo término para "castigar" al vector para que no crezca demasiado en ese subespacio. El $\lambda {\bf I}$ término castiga ligeramente $L_2$ norma para hacerse grande para la solución siempre y cuando usemos un real pequeño y estrictamente positivo $\lambda$ .

---

Con un poco de práctica y conocimientos de ingeniería se verá, por inspección ocular, que la matriz es circulante, lo que permite un eigensistema ortogonal de funciones base que son las exponenciales complejas (transformada de Fourier). El valor medio ("componente DC") de esto ocurre para la frecuencia $0$ que en este ejemplo corresponde precisamente al vector $\frac 1 3 [1,1,1]^T$ . Si sabemos todo esto, podemos seleccionar de inmediato $0$ vector como solución de norma mínima.