Cálculo de Matriz en el método de mínimos cuadrados

Question

En la prueba de disolución de la matriz del Método de Cuadrados mínimos, veo que algunos matriz de cálculo, que no tengo ni idea. Puede alguien que me explique o me recomienda un buen enlace para el estudio de este tipo de matriz de cálculo?

En Menos-método de Cuadrados, queremos encontrar un vector $x$ tal que $||Ax-b||$ es mínimo.

Suponga $r=Ax-b$

$\Rightarrow\|r\|^2=x^TA^TAx-2b^TAx+b^Tb$

$\Rightarrow \nabla_x \|r\|^2=2A^TAx-2A^Tb$

En el extremo que establece que el gradiente de cero y buscar la reducción al mínimo de la solución. Entiendo la idea, pero yo no sé exactamente cómo lo hicimos de la matriz de cálculo de aquí, o decir que no sé cómo hacer el cálculo de la matriz de aquí. Por ejemplo, ¿alguien puede decirme cómo llegamos a esos transponer en $\|r\|^2$(Por lo que la regla?) y cómo llegamos a la gradiente?(¿cómo podemos tomar el gradiente exactamente en el formato de matriz)?

Yo realmente apreciará si usted me puede ayudar. Gracias!

Answer 1

Bueno, el primer paso es la definición de$||r||^2$. Esto es fácil \begin{align} ||r||^2 & = \langle r,r \rangle = r^T r \\ &= (Ax-b)^T(Ax-b) = (x^TA^T-b^T)(Ax-b) \\ &= x^TA^TAx -x^TA^Tb-b^TAx +b^Tb \\ &= x^TA^TAx -(b^TAx)^T -b^TAx +b^Tb \end {align} Dado que$(b^TAx)$ es un escalar que tiene$(b^TAx)⁼ (b^TAx)^T$ Así \begin{align} ||r||^2 & = x^TA^TAx -2b^TAx +b^Tb \end {align}

Y para los derivados, podría echar un vistazo aquí . Otro enfoque sería escribir las expresiones vector-matriz en forma de sumatoria y calcular la derivada, entonces no hay matrices involucradas.