Existencia de solución de mínimos cuadrados para$Ax=b$

Question

¿Siempre existe una solución de mínimos cuadrados para$Ax=b$?

Answer 1

Si usted piensa que en el de los mínimos cuadrados problema geométricamente, la respuesta es, obviamente, "sí", por definición.

Déjame que te explique por qué. Por el bien de la simplicidad, suponga que el número de filas de a $A$ es mayor o igual que el número de sus columnas y tiene plena rang (es decir, sus columnas son vectores linealmente independientes). Sin estas hipótesis, la respuesta es "sí", pero la explicación es un poco más complicado.

Si usted tiene un sistema de ecuaciones lineales

$$ Ax = b \ , $$

se puede mirar como el siguiente problema equivalente: es el vector de $b$ pertenecen al espacio de las columnas de a $A$? Es decir,

$$ Ax = b \qquad \Longleftrightarrow \qquad \exists \ x_1, \dots , x_n \quad \text{tales que }\quad x_1a_1 + \dots + x_na_n = b \ . $$

Aquí, $a_1, \dots , a_n$ son las columnas de a$A$$x = (x_1, \dots , x_n)^t$. Si la respuesta es "sí", entonces el sistema tiene una solución. De lo contrario, no.

Así, en este último caso, cuando se $b\notin \mathrm{span }(a_1, \dots , a_n)$, es decir, cuando el sistema no haya una solución, "cambiar" el sistema original por otro que , por definición, tiene una solución. Es decir, cambia el vector de $b$ para el más cercano de vectores $b' \in \mathrm{span }(a_1, \dots , a_n)$. Este vector más cercano a $b'$ es la proyección ortogonal de a $b$ a $\mathrm{span }(a_1, \dots , a_n)$. Así que la solución de mínimos cuadrados para su sistema es, por definición, la solución de

$$ Ax = b' \ , $$

y su sistema original, con este cambio y la mencionada hipótesis, se convierte en

$$ A^t a x = a^tb \ . $$

Answer 2

Asumir que hay una solución exacta $\small A \cdot x_s = b $ y reformular el problema como $\small A \cdot x = b + e $ donde e es un error ( lo $\small A \cdot x = b $ es entonces sólo una aproximación requerida) tenemos entonces que $\small A \cdot (x_s - x) = e $

Claramente no son arbitrarias/infinitamente muchas soluciones para x es posible, o decir que es aún más clara: usted puede llenar en cualquier valor que usted desea en x y siempre obtener algún correo. El de mínimos cuadrados idea es encontrar que x tales que la suma de los cuadrados de los componentes en e ( definir $\small \operatorname{ssq}(e) = \sum_{k=1}^n e_k^2 $) es mínima. Pero si nuestros datos son todos los datos reales (lo que generalmente se supone), el más pequeño posible de la suma de los cuadrados de los números es cero, por lo que en realidad existe un efectivo mínimo de la suma.
Las restricciones sobre x puede causar, que en realidad, el error ssq(e) es más grande, pero siempre habrá un mínimo de $\small \operatorname{ssq}(e) \ge 0 $.

Así que la pregunta se contesta en la afirmativa.

(Una pregunta que queda es, si es único, pero que no fue en tu post original.)

Answer 3

Necesitamos comprobar que el rango de la matriz $A^TA$ es igual al rango de la matriz ampliada $[A^TA,A^Tb]$. Vamos a comprobar a continuación:

indicar el rango de la matriz como de rango A=k. Mediante el uso de la clasificación de la igualdad(se puede encontrar en casi cada libro de texto de álgebra.):rango $A^TA$=rango $A$=rango $A^T$. Sabemos rango $[A^TA,A^Tb]\ge$rango A, ya que el primero tiene una columna más que el segundo. Pero, por otro lado, $[A^TA,A^Tb]=A^T[A,b]$, y mediante el uso de la clasificación de la desigualdad(se puede encontrar en algunos libros de texto de álgebra): rango $AB\le$ min{Un rango, rango B}. así que el rango $A^T[A,b]$$\le$rango $A^T$=rango A=k. La combinación de las dos de la desigualdad, tenemos rango $[A^TA,A^Tb]$=k.

Por lo que el rango de la matriz$[A^TA]$ siempre es igual al rango de la matriz ampliada$[A^TA,A^Tb]$. Por el teorema de existencia y unicidad de la ecuación vectorial, sabemos que el cuadrado de problema siempre tiene al menos una solución. Así terminamos nuestra prueba. Q. E. D.

Answer 4

A ver que solución existe siempre, recordar que la definición de mínimos cuadrados solución es la que minimiza $\|Ax-b\|_2$. Para obtener la solución, tendría que usar algo como el pseudoinverse en papel o algún buen algoritmo de minimización en la práctica. Ni siquiera necesitamos para referirse al rango de la matriz o nada de eso para assertain la existencia de una solución. Minimizar $\|Ax-b\|_2$ $x$ equivale a minimimizing un positivo ecuación de segundo grado en $n$ variables ($x_i$'s). Simple cálculo justifica por sí solo la existencia de un mínimo.

Answer 5

$\newcommand{\ángulos}[1]{\left\langle #1 \right\rangle}% \newcommand{\llaves}[1]{\left\lbrace #1 \right\rbrace}% \newcommand{\bracks}[1]{\left\lbrack #1 \right\rbrack}% \newcommand{\dd}{{\rm d}}% \newcommand{\isdiv}{\,\left.\a la derecha\vert\,}% \newcommand{\ds}[1]{\displaystyle{#1}}% \newcommand{\equalby}[1]{{#1 \cima {= \cima \vphantom{\enorme}}}}% \newcommand{\expo}[1]{\,{\rm e}^{#1}\,}% \newcommand{\ic}{{\rm i}}% \newcommand{\imp}{\Longrightarrow}% \newcommand{\pars}[1]{\left( #1 \right)}% \newcommand{\partiald}[3][]{\frac{\partial^{#1} #2}{\parcial #3^{#1}}} \newcommand{\pp}{{\cal P}}% \newcommand{\sgn}{\,{\rm sgn}}% \newcommand{\ul}[1]{\underline{#1}}% \newcommand{\verts}[1]{\left\vert #1 \right\vert}% \newcommand{\yy}{\Longleftrightarrow}$$\displaystyle{A^{\dagger}Ax = A^{\dagger}b}$ es equivalente a minimizar $\displaystyle{\left(Ax - b\right)^{2}}$.

$\large{\sf Example}:$ $2x = 5$ $3x = 7$ se convierte en $$ {2 \elegir 3}\pars{x} = {5 \elegir 7} \quad\imp\quad \pars{2 \quad 3}{2 \elegir 3}\pars{x} = \pars{2 \quad 3}{5 \elegir 7} \quad\imp\quad \pars{13}\pars{x} = \pars{31} $$

$$ x = {31 \más de 13} $$ cual es el mínimo de la función $\pars{2x - 5}^{2} + \pars{3x - 7}^{2}$.