Tarea - Empezando - Optimización

Question

Estoy comenzando mi Maestría después de estar fuera de la escuela por un tiempo y esta es mi primera semana de regreso. Estoy recordando cómo resolver un problema y me pregunto si alguien puede ayudarme a comenzar. No necesito una respuesta final, solo los pasos necesarios para completar.

Problema: Resolver el siguiente problema de optimización usando multiplicadores de Lagrange. Expresa tu respuesta en términos de $A, b,$ y $y$.

minimizar $x$, $||x-y||^2$ sujeto a $Ax=b$

Intento

$$L(x,\lambda) = ||x-y||^2 + \lambda^T(Ax -b)$$ $$L(x,\lambda) = ||x-y||^2 + \lambda^TAx -\lambda^Tb$$

Ahora, ¿debo tomar una derivada parcial con respecto a $x$? Para mayor claridad, a continuación se muestra una imagen del problema.

---

Answer 1

No estoy 100% seguro, pero la derivada del lagrangiano con respecto a x es $2(x-y)+A^\intercal \lambda=0$ y la derivada con respecto a $\lambda$ es $Ax-b=0$.

Esta solución supone que y está dado y en algún momento que A es una matriz cuadrada, pero debería funcionar incluso si A no es cuadrada si se omiten los últimos pasos.

Desde la primera ecuación, $x=\frac 1 2 (-A^\intercal\lambda+y)$. Poniendo esto en la segunda ecuación, $\frac 1 2 A(-A^\intercal\lambda+y)-b=0$. Así que $-\frac 1 2 AA^\intercal\lambda+\frac 1 2Ay=b$. Entonces $\lambda=-2(AA^\intercal)^{-1}(b-\frac 1 2 Ay)$. Poniendo esto de nuevo en lo que obtuvimos de la primera ecuación, eventualmente obtenemos $x=\frac 1 2(-A^\intercal(-2)(AA^\intercal)^{-1}(b-\frac 1 2 Ay)+y)=\frac 1 2(2A^{-1}b-y+y)=A^{-1}b$