Confusión sobre los multiplicadores de Lagrange

Question

Estaba estudiando los multiplicadores de Lagrange. Sin embargo, tengo una confusión. Digamos que tengo una función $f(x,y)$ para ser minimizado y tengo algunas restricciones $g(x,y) = 0$ .

Si minimizo la función $$ L(x,y,\lambda) = f(x,y) + \lambda g(x,y) \>, $$ entonces cómo incluye la restricción $g(x,y) = 0$ . El libro dice que si minimizo $L$ con respecto a $\lambda$ entonces será equivalente a minimizar la función $f(x,y)$ con la restricción $g(x,y)$ .

Necesito algunas aclaraciones.

Además, se dice que

gradient(f)+ lambda * gradient(g) = 0 ............(1)

lleva a

L(x,y,lambda) = f(x,y) + lambda * g(x,y)...........(2)

No entendí esta parte ¿cómo es que la ecuación 1 llevó a la ecuación 2?

También estoy un poco confundido cuando se trata de restricciones de desigualdad como

g(x,y) >= 0

Se dice que f(x,y) será máxima si su gradiente se orienta fuera de la región g(x,y) > 0 y por tanto

gradient(f(x,y)) = - lambda * gradient(g(x,y))

No entendí esto.

Answer 1

Establecer la derivada parcial de L con respecto a lambda f a 0 obliga a g(x,y)=0. Requerir la parcial de L con respecto a x e y a 0 llevará a un punto extremo local sujeto a g(x,y) = 0. Debido a la forma de L esto podría ser un mínimo.

Answer 2

Te mostraré un ejemplo si la formulación del problema de minimización fuera de una sola variable como: $f(x)+\lambda g(x)$

Ahora para encontrar las lambdas primero resuelve una forma cerrada para x poniendo el gradiente con respecto a x como cero. Tendrás una forma cerrada para x, que contiene las lambdas.

Ahora considera que esto es $x^{*}=c(\lambda)$ . Ahora sustituye la forma cerrada por $x^{*}$ en la restricción como, $g(x^{*})=0$ y resolver para $\lambda$ lo que le daría un $\lambda$ que puede hacer cumplir su restricción en el valor óptimo de $x^*$ .

Sin embargo, en un escenario de modelado estadístico, el $\lambda's$ se estiman por validación cruzada si f(.) y g(.) fueran funciones de pérdida requeridas para ser optimizadas sobre variables aleatorias. Pero no estoy seguro del dominio de su trabajo.