¿Cómo $(Ax -b)^T(Ax -b)$ se reduce a $x^TA^TAx − 2b^TAx + b^Tb$?

Question

No estoy segura si puedo escribir $(Ax - b)^T$ como $(A^Tx^T - b^T)$. Si puedo, no logro reproducir el resultado anterior. Por favor ayúdame. También, si es posible, puedes referirme a fuentes que me den una buena comprensión sobre derivadas de matrices.

Answer 1

$$ (A x - b)^T (A x - b) $$ $$ = \left[(A x)^T - b^T \right] (A x - b) $$ $$ = ( x^T A^T - b^T ) (A x - b) $$ $$ = x^T A^T (A x - b) - b^T (A x - b)$$ $$ = x^T A^T A x - x^T A^T b - b^T A x + b^T b $$ $$ = x^T A^T A x - (b^T A x)^T - b^T A x + b^T b $$

EDIT: Como se señaló en los comentarios, $b^T A x$ es un producto punto de dos vectores $b$ y $A x$, que es un escalar. Por lo tanto, $(b^T A x)^T = b^T A x$ y $$ (A x - b)^T (A x - b) = x^T A^T A x - 2 b^T A x + b^T b \mathrm{.} $$

Answer 2

$$\|Ax-b\|^2=\left(Ax-b\right)^T\left(Ax-b\right)=\left(\left(Ax\right)^T-b^T\right)\left(Ax-b\right)=\left(x^TA^T-b^T\right)\left(Ax-b\right)=x^TA^TAx-b^TAx-x^TA^Tb+b^Tb$$ si $A\in \mathbb{R}^{m\times n}$, $x\in \mathbb{R}^{n}$, $b\in \mathbb{R}^{m}$ por lo tanto:

$b^TAx = \sum\limits_{i=1}^mb_i(Ax)_i=\sum\limits_{i=1}^m\sum\limits_{j=1}^n b_i(a_{ij}x_j)=\sum\limits_{j=1}^n \sum\limits_{i=1}^m x_j(a_{ij}b_i)=\sum\limits_{j=1}^n x_j(A^Tb)_j= x^TA^Tb$

Entonces, finalmente: $$\left(Ax-b\right)^T\left(Ax-b\right)=x^TA^TAx-2b^TAx+b^Tb$$