Considera un sistema de ecuaciones lineales $Ax = b$.
Si el sistema está sobredeterminado, la solución de mínimos cuadrados (aproximada) minimiza $||b - Ax||^2$. Algunas fuentes también mencionan $||b - Ax||$.
Si el sistema está subdeterminado, se puede calcular la solución de norma mínima. ¿Pero también minimiza $||b - Ax||$, o estoy equivocado?
Pero si los mínimos cuadrados también son una norma mínima, ¿cuál es la diferencia, o la lógica del diferente nombre?
Sistema lineal $$ \mathbf{A} x = b $$ donde $\mathbf{A}\in\mathbb{C}^{m\times n}_{\rho}$, y el vector de datos $b\in\mathbf{C}^{m}$, el vector de solución en $x\in\mathbf{C}^{n}$.
Problema de mínimos cuadrados
Se garantiza que existe una solución de mínimos cuadrados y está definida por $$ x_{LS} = \left\{ x\in\mathbb{C}^{n} \colon \lVert \mathbf{A} x - b \rVert_{2}^{2} \text{ se minimiza} \right\} $$
Solución de mínimos cuadrados
El problema general de mínimos cuadrados ofrece una solución $\color{blue}{particular}$ y una solución $\color{red}{homogénea}$. La llamada confusamente "solución de norma mínima" es simplemente la solución $\color{blue}{particular}$.
Los minimizadores son el conjunto afín calculado por $$ x_{LS} = \color{blue}{\mathbf{A}^{+} b} + \color{red}{ \left( \mathbf{I}_{n} - \mathbf{A}^{+} \mathbf{A} \right) y}, \quad y \in \mathbb{C}^{n} \tag{1} $$ donde los vectores están coloreados según residan en un espacio de $\color{blue}{rango}$ o espacio nulo de $\color{red}{nulo}$. (Ver Laub, 2005, Teorema 8.1, p. 66)
La línea roja punteada a continuación es el conjunto de los minimizadores de mínimos cuadrados que aparece cuando hay un déficit de rango de fila $(\rho < m)$. En estos casos, la solución no es única.
Solución de mínima norma de mínimos cuadrados
Para encontrar los minimizadores de la norma mínima, el vector de solución más corto, calcular la longitud de los vectores de solución.
$$ % \lVert x_{LS} \rVert_{2}^{2} = % \Big\lVert \color{blue}{\mathbf{A}^{+} b} + \color{red}{ \left( \mathbf{I}_{n} - \mathbf{A}^{+} \mathbf{A} \right) y} \Big\rVert_{2}^{2} % = % \Big\lVert \color{blue}{\mathbf{A}^{+} b} \Big\rVert_{2}^{2} + \Big\lVert \color{red}{ \left( \mathbf{I}_{n} - \mathbf{A}^{+} \mathbf{A} \right) y} \Big\rVert_{2}^{2} % $$ El componente del espacio de $\color{blue}{rango}$ está fijo, pero podemos controlar el vector de espacio $\color{red}{nulo}$. De hecho, elige el vector $y$ que fuerza a este término a ser $0$.
Por lo tanto, la solución de mínima norma de mínimos cuadrados es la solución particular $$ \color{blue}{x_{LS}} = \color{blue}{\mathbf{A}^{+} b}. $$ Este es el punto donde la línea roja punteada atraviesa el plano azul. La solución de mínima longitud de mínimos cuadrados es el punto en $\color{blue}{\mathit{R}\!\left(\mathbf{A}^{*}\right)}$.
Rango de columna completo
Nos preguntas sobre el caso de rango de columna completo donde $n=\rho$. En este caso, $$ \color{red}{\mathit{N}\left( \mathbf{A} \right)} = \left\{ \mathbf{0} \right\}, $$ el espacio nulo es trivial. No hay componente de espacio nulo, y la solución de mínimos cuadrados es un punto.
En otras palabras, la solución completa de mínimos cuadrados es simplemente la solución $ \color{blue}{particular}$ $$ \color{blue}{x_{LS}} = \color{blue}{\mathbf{A}^{+} b} $$ Cuando la matriz tiene rango de columna completo, no hay componente $\color{red}{homogénea}$ en la solución. La solución es única y es un punto.
Primero, es importante entender que hay diferentes normas. Lo más probable es que estés interesado en la norma euclidiana:
$\| x \|_{2} =\sqrt{\sum_{i=1}^{n}x_{i}^{2}}$
Luego, nota que minimizar $\| b-Ax \|_{2}^{2}$ es equivalente a minimizar $\| b-Ax \|_{2}$, porque elevar al cuadrado la norma es una transformación monótona. Realmente no importa cuál minimices.
Si $A$ tiene rango completo de columnas, entonces hay una solución única de mínimos cuadrados.
Sin embargo, si $A$ no tiene rango completo de columnas, puede haber infinitas soluciones de mínimos cuadrados. En este caso, a menudo estamos interesados en la solución de mínima norma de mínimos cuadrados. Es decir, entre las infinitas soluciones de mínimos cuadrados, selecciona la solución de mínimos cuadrados con el $\| x \|_{2}$ más pequeño. La solución de mínima norma de mínimos cuadrados siempre es única. Se puede encontrar utilizando la descomposición en valores singulares y/o la seudoinversa de Moore-Penrose.
Si un sistema está sobredeterminado, no hay solución y por lo tanto podemos querer encontrar $x$ de modo que $||Ax-b||$ sea lo más pequeño posible (ya que no hay manera de hacer $||Ax-b||=0$).
Por otro lado, si el sistema está subdeterminado, hay infinitas soluciones y por lo tanto se puede encontrar una solución de mínima norma y esto se llama la solución de norma mínima.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
