¿Por qué el gradiente es normal?

Question

Esta es una discusión un poco larga, así que por favor tengan paciencia conmigo. Hay un teorema que siempre me ha resultado curioso desde un punto de vista intuitivo y que ha sido pasado por alto en la mayoría de los libros de texto que he leído. Citando a Wikipedia el teorema es:

El gradiente de una función en un punto es perpendicular al conjunto de niveles de $f$ en ese momento.

Entiendo la prueba del artículo de Wikipedia, que es la forma estándar de ver las cosas, pero veo la prueba como algo mágico. Da una razón simbólica de por qué el teorema es cierto sin dar mucha intuición geométrica.

El gradiente da la dirección del mayor incremento, por lo que tiene sentido que una curva perpendicular sea constante. Por desgracia, esto parece ser un razonamiento al revés. Habiendo notado ya que el gradiente es la dirección de mayor incremento, podemos deducir que ir en una dirección perpendicular a él sería el incremento más lento. Pero no podemos razonar que este incremento más lento sea cero ni podemos argumentar que ir en una dirección perpendicular a una dirección constante nos daría una dirección de mayor incremento.

También agradecería alguna conexión de esta intuición con Multiplicadores de Lagrange que es otro teorema algo mágico para mí. Lo entiendo porque el álgebra funciona pero ¿qué pasa geométricamente?

Por último, ¿qué dice esto intuitivamente sobre la generalización en la que buscamos: maximizar $f(x,y)$ donde $g(x,y) > c$ .

Siempre he luchado por encontrar el modelo interno correcto que encapsule estas ideas.

Answer 1

El gradiente de una función es normal a los conjuntos de niveles porque es definido así. El gradiente de una función es no el derivado natural. Cuando se tiene una función $f$ definida en algún espacio euclidiano (más generalmente, en un colector riemanniano) entonces su derivada en un punto, digamos $x$ es una función $d_xf(v)$ en vectores tangentes. La forma intuitiva de pensar en ello es que $d_xf(v)$ responde a la pregunta:

Si me muevo infinitesimalmente en la dirección $v$ ¿Qué pasa con $f$ ?

Así que $d_xf(v)$ no es a su vez un vector tangente. Sin embargo, como tenemos un producto interior por ahí, podemos convertirlo en un vector tangente que llamamos $\nabla f$ . Esto representa la pregunta:

Qué vector tangente $u$ en $x$ lo que mejor representa $d_xf(v)$ ?

Lo que queremos decir con "lo mejor representa" es que $u$ debe satisfacer la condición:

$\langle u,v\rangle = d_xf(v)$ para todos los vectores tangentes $v$ .

Ahora miramos el conjunto de niveles de $f$ a través de $x$ . Si $v$ es un vector tangente a $x$ que es tangente al conjunto de niveles, entonces $d_xf(v) = 0$ desde $f$ no cambia si vamos (infinitesimalmente) en la dirección de $v$ . Por lo tanto, nuestro vector $\nabla f$ (alias $u$ en la pregunta) debe satisfacer $\langle\nabla f, v\rangle = 0$ . Es decir, $\nabla f$ es normal al conjunto de vectores tangentes en $x$ que son tangentes al conjunto de niveles.

Para un genérico $x$ y un genérico $f$ (es decir, la mayor parte del tiempo), el conjunto de vectores tangentes a $x$ que son tangentes al conjunto de niveles de $f$ en $x$ es la codimensión $1$ así que esto especifica $\nabla f$ hasta un múltiplo escalar. El múltiplo escalar se puede encontrar mirando un vector tangente $v$ tal que $f$ cambia en el $v$ -dirección. Si no hay tal $v$ existe, entonces $\nabla f = 0$ Por supuesto.

Answer 2

Esta es esencialmente la respuesta de Andrew Stacey, pero un poco más baja. Esta es la historia que realmente trato de hacer entender a mis estudiantes de cálculo 3.

Dejemos que $F: \mathbb{R}^2 \to \mathbb{R}$ . Entonces la derivada $D_{F,p}$ es un mapa lineal desde $D_{F,p}:\mathbb{R}^2 \to \mathbb{R}$ cuya matriz con respecto a la base estándar es $[ \dfrac{\partial F}{\partial x} \dfrac{\partial F}{\partial y}]$ .

Este es el único mapa lineal que satisface $F(p+h) = F(p)+D_{F,p}(h)+Error(h)$ , donde $\displaystyle\lim_{h \to 0} \dfrac{|Error(h)|}{|h|} = 0$ . Observe que $p$ y $h$ son ambos vectores en $\mathbb{R}^2$ .

Lo bueno de los mapas lineales de $\mathbb{R}^n \to \mathbb{R}$ es que parecen productos de punto. En este caso, con $h = \langle a,b \rangle$ evaluando la derivada en el punto $p$ entonces tenemos $D_{F,p}(\langle a,b \rangle) = [ \dfrac{\partial F}{\partial x} \dfrac{\partial F}{\partial y}] \begin{bmatrix}a \\\\ b\end{bmatrix} = \dfrac{\partial F}{\partial x}a + \dfrac{\partial F}{\partial y}b = \langle \dfrac{\partial F}{\partial x} \dfrac{\partial F}{\partial y} \rangle \cdot \langle a, b\rangle$ ,

(con los parciales evaluados en $p$ ). Este punto de vista alternativo sobre la derivada es útil, porque da una interpretación geométrica diferente de la derivada. Llamamos $\langle \dfrac{\partial F}{\partial x} \dfrac{\partial F}{\partial y} \rangle$ el gradiente de $F$ .

Ahora nos interesa la curva $F(x,y) = 0$ . Dado un punto $p=(x_1,y_1)$ en esta curva, la dirección de la tangente será el vector $h$ para lo cual $D_{F,p}(h) = 0$ porque para mantenerse en la curva, el valor de la función no debe cambiar en primer orden. Utilizando la interpretación geométrica en términos de productos punto, podemos ver que $\langle \dfrac{\partial F}{\partial x} \dfrac{\partial F}{\partial y} \rangle \cdot \langle h_1, h_2\rangle = 0$ o geométricamente que el gradiente es perpendicular a la dirección de la tangente.

Answer 3

Si estás parado en un conjunto de niveles y quieres caminar una pequeña distancia d y alejarte lo más posible del conjunto de niveles, querrás caminar por la normal. De lo contrario, si el camino que tomas tiene una componente tangente, tenderá a mantenerte más cerca del conjunto de niveles si d es lo suficientemente pequeño en comparación con el tamaño del conjunto de niveles. Además, alejarse lo más posible del conjunto de niveles es aproximadamente lo mismo que caminar hacia la curva de nivel más alta/más baja del rango, con una aproximación que mejora a medida que d se reduce.

Answer 4

En cuanto a los multiplicadores de Lagrange (dando por buena la interpretación geométrica del gradiente), creo que la mejor manera de ver lo que ocurre es considerar el caso de 2 variables. La idea es que, en general, estamos limitados a una curva g(x,y)=0 (que no es más que una curva de nivel particular de la función g(x,y)). Consideremos las curvas de nivel de la función objetivo f(x,y). Si, al movernos a lo largo de la curva de la restricción, cruzamos una de estas curvas de nivel de f(x,y), entonces (sujeto a la restricción) estamos aumentando o disminuyendo el valor de f(x,y). Por lo tanto, no podemos estar en un extremo local. Por lo tanto, un extremo local debe ocurrir donde g(x,y)=0 es tangente a una curva de nivel de f(x,y). Esto equivale a la condición de que los vectores perpendiculares a las curvas apunten en la misma dirección: grad(f)=λgrad(g).

Answer 5

Kim, recuerda que los nombres de los conjuntos de niveles en las aplicaciones prácticas son isoclinas, isotermas, isobaras, curvas de isoutilidad: son loci de lugares que comparten el mismo valor (escalar), digamos 3000 pies de elevación.

(fuente)

$$\text{ level set of 3000 feet } \overset{def}{=} \ \{\ \forall \text{ points } p \text{ in the surrounding area } \ | \ \mathtt{height}(p) = 3000 \ \}$$ (En la imagen de arriba las curvas de nivel son continuas)

El camino más corto entre $p$ en $\text{the level set of 3000 feet}$ y (en algún lugar de) $\text{the level set of 4000 feet}$ también será el camino más rápido o el menos tortuoso para subir.

Si se lleva este concepto al límite infinitesimal de conjuntos de niveles ligeramente superiores se obtiene el gradiente en $p$ .

Alternativamente puedes imaginar que alguien cortó un camino transitable en la ladera de la montaña. Es transitable porque es completamente plano, es decir, sigue una curva de nivel (altura constante). Caminando hacia el norte cerca de mi rojo $p$ mira a tu izquierda. Estás mirando directamente hacia arriba. Esta es la dirección de la pendiente.

---

Ahora tenga en cuenta que esto es sólo un gradiente en un punto. Tal vez hayas oído hablar de un gradiente campo que pega una flecha hacia arriba en cada punto en los alrededores. Si puedes imaginar el campo de gradiente de las imágenes de arriba (de volcano.oregonstate.edu), sabrás que has entendido el concepto.

editar: La imagen original que enlazaba se ha movido; aquí hay más mapas topográficos.

(fuente)

(fuente: Wayback Machine)

(fuente)

(fuente: Wayback Machine)

(fuente)

(fuente)