Relación entre la optimización restringida de dos ecuaciones y la versión de una ecuación

Question

Estoy aprendiendo sobre el multiplicador de Lagrange. Esto es lo que entiendo hasta ahora.

Supongamos un punto $P$ es un minimizador de $f(x)$ sujeto a $g(x)=0$ . Entonces cualquier movimiento a lo largo de esa curva de nivel de $g$ debe irse $f$ no se vería afectado, ya que de lo contrario (suponiendo que $f$ suave o algo así) habría algún punto más alto que ese en $P$ . Por tanto, la curva de nivel de $g$ debe ser perpendicular al gradiente de $f$ denotado $\nabla f$ .

Creo que el gradiente de $g$ es perpendicular a la curva de nivel de $g$ por una razón similar. Así que los gradientes de ambos $g$ y $f$ son perpendiculares a la curva de nivel de $g$ .

Por lo tanto, podemos expresar esta situación como

$$\nabla f(p) = -\lambda \nabla g(P)$$ con un signo menos convencional, y tenga en cuenta también que $$g(P) = 0.$$

Estas son nuestras dos ecuaciones para minimizar $f$ sujeto a $g(x)=0$ . Creo que esto debería ser suficiente información para resolverlo desde aquí.

Pero a menudo veo una formulación de una sola ecuación escrita algo así como $$L(x,\lambda) = f(x) - \lambda g(x).$$

Preguntas (o grupos de preguntas):

1. ¿Cuál es la relación entre estas dos formulaciones? ¿Parece que la primera es sólo una derivada de la segunda? ¿Cómo llegaríamos a la formulación de ecuación única?
2. ¿Para qué sirve la segunda si la primera (es decir, el par de ecuaciones) basta para resolverlo?
3. En un problema aplicado, ¿trataríamos de pasar de la primera a la segunda? Parece que el primero es un problema manejable, y no entiendo muy bien de dónde sale el segundo.

Answer 1

1. La relación entre las dos formulaciones es que las derivadas parciales de la segunda formulación dan los componentes vectoriales de la primera, y la restricción $g(\textbf x)=0$ . Para utilizar el enfoque dado por la segunda formulación, se encuentran las derivadas parciales de $L$ con respecto a $x_1, x_2, \dots$ y $\lambda$ : $$\frac{\partial L}{\partial x_1}=\frac{\partial f}{\partial x_1}-\lambda\frac{\partial g}{\partial x_2} \tag1$$ $$\frac{\partial L}{\partial x_2}=\frac{\partial f}{\partial x_2}-\lambda\frac{\partial g}{\partial x_2} \tag 2$$ $$\vdots$$ $$\frac{\partial L}{\partial \lambda}=-g(\textbf x) \tag 3$$ Ahora mira $\nabla f(\textbf x) = \lambda \nabla g(\textbf x)$ : $$\left\langle \frac{ \partial f}{\partial x_1}, \frac{\partial f}{ \partial x_2}, \dots \right\rangle=\lambda\left\langle \frac{ \partial g}{\partial x_1}, \frac{\partial g}{\partial x_2}, \dots \right\rangle$$ $$\implies \frac{\partial f}{\partial x_1}-\lambda\frac{\partial g}{\partial x_1}=0, \qquad \quad \frac{\partial f}{\partial x_2}-\lambda\frac{\partial g}{\partial x_2}=0, \qquad \text{and so on}$$ Que son ecuaciones $(1)$ y $(2)$ si se igualan $0$ . Del mismo modo, $g(\textbf x)=0$ es la ecuación $(3)$ si establece $(3)$ a igual $0$ (Usted escribió esto en su pregunta como $g(P)=0$ ). Creo que es bastante obvio cómo llegar a la formulación de una sola ecuación: $f(\textbf x)$ y $g(\textbf x)$ así que introdúzcalo en $f(\textbf x) - \lambda g(\textbf x)$ y definir esa expresión como $L$ .

2. Creo que el sentido de la segunda formulación es proporcionar una forma más sencilla de encontrar el punto óptimo $P$ . La segunda formulación no requiere conocer el vector gradiente, sólo las derivadas parciales, y es por ello que otras asignaturas como economía prefieren utilizar la segunda formulación. Personalmente, prefiero la primera formulación porque la idea de un vector gradiente es la base de la teoría que subyace al método de los multiplicadores de Lagrange. Basta con fijar las derivadas parciales de $L$ a igual $0$ parece no tener ninguna razón lógica fundamental, aparte de "esa es la forma correcta de hacerlo".

3. En un problema aplicado, cualquiera de los dos métodos funciona igual de bien.