Comprender el concepto del multiplicador lagrangiano

Question

He estado tratando de entender los principios detrás de los multiplicadores lagrangianos y creo que tengo una comprensión aproximada. Os agradecería que me ayudarais a resolver algunas dudas.

He estudiado bastante por mi cuenta esto de aquí y aquí .

Según tengo entendido, el multiplicador lagrangiano funciona esencialmente asegurando que el gradiente de la función es igual al gradiente de la restricción. Suponiendo que $g(x,y) = c$ es la restricción, también garantiza que el punto satisface la restricción.

Sin embargo, no entiendo el razonamiento de algunas de las afirmaciones del enlace de ideashop:

1) "Lo más importante que hay que saber sobre los gradientes es que siempre apuntan en la dirección de la mayor pendiente de una función en un punto determinado". . Aparentemente, un gradiente es un conjunto de primeras derivadas parciales, pero no entiendo cómo se pasa de un conjunto de primeras derivadas parciales a "Apuntar siempre en la dirección de la mayor pendiente". ¿No sería cambiar de dirección al recorrer una superficie 3D?

2) ¿Por qué el gradiente es siempre perpendicular a la curva de nivel?

3) ¿Cómo se pasa de $$\nabla L=\begin{bmatrix}\frac{\partial f}{\partial x_1}-\lambda\frac{\partial g}{\partial x_1}\\\frac{\partial f}{\partial x_2}-\lambda\frac{\partial g}{\partial x_2}\\g(x_1,x_2)-c\end{bmatrix}=0$$ a $$L(x_1,x_2,\lambda)=f(x_1,x_2)-\lambda(g(x_1,x_2)-c)$$ (Ambas fuentes de ideashop) ?

Gracias por su ayuda de antemano.

Answer 1

Lo explicaré en un entorno tridimensional. Esto significa que a priori se le da una función de "temperatura" $f:\,{\mathbb R}^3\to{\mathbb R}$ .

Considere un punto fijo ${\bf p}\in{\mathbb R}^3$ y un punto $t\mapsto{\bf x}(t)$ $\ (t\geq0)$ alejándose de ${\bf p}$ en la dirección ${\bf u}\,$ Así que ${\bf x}(0)={\bf p}$ , $\,{\bf x}'(0)={\bf u}$ . La temperatura en el punto móvil es una función de $t$ y viene dada por $\phi(t):=f\bigl({\bf x}(t)\bigr)$ . Según la regla de la cadena tenemos $$\phi'(0)=\nabla f\bigl({\bf x}(0)\bigr)\cdot{\bf x}'(0)=\nabla f({\bf p})\cdot{\bf u}\ .\qquad(1)$$ Si $\nabla f({\bf p})\ne{\bf 0}$ entonces siempre habrá vectores de dirección ${\bf u}$ tal que el producto escalar de la derecha es positivo y otros vectores de este tipo donde es negativo. En este caso la temperatura $f$ no puede ser ni localmente mínima ni localmente máxima en ${\bf p}$ . En particular, para $|{\bf u}|=1$ el aumento $\phi'(0)$ es máxima ( $=|\nabla f({\bf p})|$ ) si ${\bf u}$ apunta en la dirección de $\nabla f({\bf p})$ la temperatura permanece estacionaria, es decir, $\phi'(0)=0$ , para las direcciones ${\bf u}\perp\nabla f({\bf p})$ y disminuye más rápidamente en la dirección $-\nabla f({\bf p})$ .

Cuando el punto móvil permanece en la superficie isotérmica $S_f$ a través de ${\bf p}$ entonces $\phi'(0)=0$ . Mirando $(1)$ vemos que todo " $f$ -Las "direcciones tangentes isotérmicas" son ortogonales a $\nabla f({\bf p})$ . Esto implica que $\nabla f({\bf p})$ abarca el complemento ortogonal del plano tangente $T_{f,{\bf p}}$ de $S_f$ .

Supongamos ahora que además de $f$ tenemos una restricción $g({\bf x})=0$ definir una superficie "admisible" $S_g\subset{\mathbb R}^3$ y asumir que nuestro punto ${\bf p}$ satisface la restricción. En este caso, sólo " $g$ -direcciones tangentes isotérmicas" ${\bf u}$ se permiten para el punto móvil.

Si ${\bf p}$ aspira a ser un punto condicionalmente extremo, por lo que es un punto condicionalmente estacionario, de $f$ entonces deberíamos tener $\phi'(0)=0$ para todas las direcciones permitidas. Esto significa que $(1)$ que $\nabla f({\bf p})$ debe ser ortogonal a todos los " $g$ -direcciones tangentes isotérmicas", o que $\nabla f({\bf p})$ está en el complemento ortogonal del plano tangente $T_{g,{\bf p}}$ . Como este último está atravesado por $\nabla g({\bf p})$ (supuesto $\ne{\bf 0}$ ) tendríamos una igualdad de la forma $\nabla f({\bf p})=\lambda\, \nabla g({\bf p})$ para algunos $\lambda\in{\mathbb R}$ . Esto implica que el punto ${\bf p}$ saldrá a relucir cuando resolvamos las ecuaciones $$\nabla f({\bf x})=\lambda\, \nabla g({\bf x}),\quad g({\bf x})=0\qquad(2)$$ para ${\bf x}$ (y $\lambda$ ).

Aplicar el "método de Lagrange" significa ni más ni menos que resolver las ecuaciones $(2)$ .

Answer 2

La forma más intuitiva que he encontrado para entenderlo es pensar en la formulación lagrangiana como una forma computacionalmente más manejable de aplicar la teorema de la función implícita . Requiere más esfuerzo mental que sacar un lagrangiano de la nada y pasar por las pruebas, pero llega al mismo lugar y, en última instancia, creo que proporciona una mejor motivación.

La idea básica es la siguiente: se elimina la restricción componiendo el funcional de coste con el operador de solución de la ecuación de la restricción. A continuación, se pueden tomar derivadas y encontrar los extremos del sistema compuesto utilizando el teorema de la función implícita. El sistema de ecuaciones que tienes que resolver basándote en una aplicación ingenua del teorema de la función implícita es un desperdicio, y una simplificación inteligente del sistema permite obtener los multiplicadores de Lagrange de forma natural.

Suponga que tiene

• una función de costes $F:X \rightarrow \mathbb{R}$ ,
• una función de restricción parametrizada $G:Q \times X \rightarrow X$ , ( $q \in Q$ es el parámetro)
• un operador de soluciones $S:Q \rightarrow X$ tal que $G(q,S(q))=b$ para cualquier $q\in Q$ ,

y quieres encontrar la sensibilidad de $F$ con respecto al parámetro $q$ pasando por el operador de la solución: $$\frac{d}{dq} F(S(q)).$$

En su caso, los espacios y operadores son

• $X=\mathbb{R}^2$ , $Q=\mathbb{R}^1$ ,
• $F(x_1,x_2)=f(x_1,x_2)$ ,
• $G(q,(x_1,x_2))=(g(x_1,x_2), q-x_1)^T$
• $b=(c,0)^T$ .

Le site teorema de la función implícita nos dice cómo calcular esta derivada total en términos de derivadas parciales de cosas que conocemos: $$\frac{d}{dq} F(S(q)) \cdot \delta q = F^{'}_x(S(q)) \circ [G^{'}_x (q,S(q))]^{-1} \circ G^{'}_q (q,S(q)) \cdot \delta q.$$

Esto es teóricamente todo lo que se necesita para encontrar los puntos críticos de un problema de optimización suave, pero hay un problema importante: para usarlo hay que calcular la inversa de la matriz $[G^{'}_x (q,S(q))]^{-1}$ que puede ser muy difícil.

Por otro lado, calcular la inversa completa es un desperdicio ya que $[G^{'}_x ]^{-1}:X \rightarrow X$ (matriz n por n), mientras que el operador a su izquierda es $F^{'}_x : X \rightarrow \mathbb{R}$ (vector 1 por n). Podemos ignorar con seguridad la acción de $[G^{'}_x ]^{-1}$ en cualquier dirección que esté en el núcleo de $F^{'}_x$ ya que los vectores en ese núcleo se envían a cero de todos modos.

Por lo tanto, es natural buscar un representante de Riesz $\lambda$ para el operador combinado $F_x \circ [G^{'}_x]^{-1}: X \rightarrow \mathbb{R}$ . Es decir, un vector $\lambda$ tal que $$F_x \circ [G^{'}_x]^{-1} \cdot x = (\lambda,x) ~~~ \forall x \in X$$ O dándole la vuelta a la ecuación, queremos $\lambda$ que resuelve $$G^{'}_x \lambda = F^{'}_x,$$ la conocida ecuación del multiplicador de Lagrange. Tenemos que resolver un sistema n por n una vez para un solo lado derecho, en lugar de invertirlo completamente para cualquier lado derecho posible. Entonces, la evaluación de las derivadas implícitas es mucho más sencilla, con la conocida fórmula $$\frac{d}{dq} F(S(q)) \cdot \delta q = (\lambda, G^{'}_q (q,S(q)) \cdot \delta q).$$

Por lo tanto, la "lagrangiana" puede verse como una abreviatura conveniente para el objeto cuyo gradiente le da las ecuaciones correctas para calcular las derivadas implícitas de manera eficiente.

(Como apunte, también hay una motivación completamente diferente para el lagrangiano de la teoría de juegos - espero que alguien más publique más sobre ello).

Answer 3

1) Tienes toda la razón. El gradiente debe evaluarse en una coordenada determinada, para obtener un vector que apunte en la dirección de mayor cambio "partiendo" de ese punto. La clave es recordar que una derivada es una función, y el gradiente un "vector de funciones", por lo que puedes "moverlo" evaluando las funciones componentes en diferentes puntos. Y la superficie con la que estás tratando puede tener una forma diferente en diferentes puntos, por lo que la dirección del mayor cambio puede variar. El gradiente lo tiene en cuenta.

2) Aquí es una buena explicación de este punto.

3) Aquí las cosas parecen estar invertidas. Si se calcula el gradiente de $L(x_1,x_2,\lambda)=f(x_1,x_2)-\lambda (g(x_1,x_2)-c)$ se obtiene el vector $\nabla L$ como en el caso anterior. Es decir, hay que calcular $\partial L/\partial x_1 = \frac{\partial f}{\partial x_1}(x_1,x_2) - \lambda\frac{\partial g}{\partial x_1},\partial L/\partial x_2 = \frac{\partial f}{\partial x_2}(x_1,x_2) - \lambda\frac{\partial g}{\partial x_2},$ y $\partial L/\partial\lambda = -(g(x_1,x_2)-c).$ Entonces la condición que debe cumplirse es $\nabla L=0.$