Derivada de la norma de la multiplicación de matrices para la regresión lineal

Question

Estoy tratando de resolver la derivada de la siguiente función $f()=0.5Xy_2^2$ donde X es una matriz grande(1000x2), es un vector 2x1 e y es un vector 1000x1. Hasta ahora me he dado cuenta de que f se puede reducir a 0,5(Xy)(Xy) y he intentado aplicar tanto la regla de la cadena como la del producto para llegar al mismo resultado en ambas ocasiones. El resultado es $f'()= (Xy)*\dfrac{df}{d}(Xy)$

He intentado investigar mucho sobre cómo continuar más allá de este punto y francamente por lo que he visto puede que lo haya hecho todo mal desde el principio. ¿Alguien podría darme algún consejo?

Answer 1

Este problema es equivalente a encontrar la solución por mínimos cuadrados del sistema lineal $$X\theta = y$$ y tiene una solución de forma cerrada en términos de la pseudoinversa de $X$ $$\eqalign{ \theta = X^+y \;=\; \left(X^TX\right)^{-1}X^T\,y \\ }$$