¿Por qué el gradiente es normal?

Question

Esta es una discusión un poco larga, así que por favor tengan paciencia conmigo. Hay un teorema que siempre me ha resultado curioso desde un punto de vista intuitivo y que ha sido pasado por alto en la mayoría de los libros de texto que he leído. Citando a Wikipedia el teorema es:

El gradiente de una función en un punto es perpendicular al conjunto de niveles de $f$ en ese momento.

Entiendo la prueba del artículo de Wikipedia, que es la forma estándar de ver las cosas, pero veo la prueba como algo mágico. Da una razón simbólica de por qué el teorema es cierto sin dar mucha intuición geométrica.

El gradiente da la dirección del mayor incremento, por lo que tiene sentido que una curva perpendicular sea constante. Por desgracia, esto parece ser un razonamiento al revés. Habiendo notado ya que el gradiente es la dirección de mayor incremento, podemos deducir que ir en una dirección perpendicular a él sería el incremento más lento. Pero no podemos razonar que este incremento más lento sea cero ni podemos argumentar que ir en una dirección perpendicular a una dirección constante nos daría una dirección de mayor incremento.

También agradecería alguna conexión de esta intuición con Multiplicadores de Lagrange que es otro teorema algo mágico para mí. Lo entiendo porque el álgebra funciona pero ¿qué pasa geométricamente?

Por último, ¿qué dice esto intuitivamente sobre la generalización en la que buscamos: maximizar $f(x,y)$ donde $g(x,y) > c$ .

Siempre he luchado por encontrar el modelo interno correcto que encapsule estas ideas.

Answer 1

Me gusta esta intuición:

El haz de vectores tangentes a la superficie en un punto vive en el plano tangente en ese punto. La[s] tangente[s] al conjunto de niveles en ese punto son exactamente los vectores del plano tangente cuya componente "vertical" es cero. Los vectores que apuntan en la dirección de mayor aumento son los que tienen las mayores componentes "verticales" relativas. La geometría plana (en el plano tangente) muestra que deben ser perpendiculares.

Answer 2

Si el gradiente no es perpendicular a la curva de nivel, tendrá algún componente a lo largo de la curva de nivel. Esto significa que el valor de la función aumentará si se mueve en esa dirección, pero en una curva de nivel, el valor de la función no puede aumentar (o disminuir) por lo que el gradiente no puede tener componente a lo largo de la curva de nivel y esto sólo es posible cuando el gradiente es perpendicular a la curva de nivel.

Answer 3

Una forma muy útil de pensar en el gradiente (o más generalmente, en la primera derivada de cualquier función en algún espacio euclidiano) es como "lo que te da la mejor aproximación lineal a la función en un punto dado". Más explícitamente, Si p es algún punto en el espacio, entonces si quieres aproximar f por una función lineal cerca de p de la mejor manera posible, entonces debes tomar tu función lineal para ser:

L(x) = f(p) + f'(p).(x-p),

donde f'(p) es el gradiente en p. (Esto se generaliza, por cierto, a las funciones de valor vectorial: entonces f'(p) es una transformación lineal, no simplemente un vector). La cuestión es que si observas tu función muy de cerca cerca del punto p, entonces se parece cada vez más a esa función lineal, y la aproximación mejora a medida que te acercas. En particular, esa aproximación lineal captura completamente tanto la dirección de la curva de nivel de f a través de p como la dirección del crecimiento más rápido. Ahora deberías visualizar una función lineal de dos variables, cuya gráfica es simplemente un plano inclinado, y debería ser obvio que las curvas de nivel (que son líneas horizontales incrustadas en el plano) son perpendiculares a la inclinación del plano, si lo estás visualizando correctamente.

Una sutileza que mi explicación no cubre completamente es lo que ocurre cuando el gradiente es cero: eso te daría la aproximación lineal

L(x) = f(p),

es decir, constante. Por supuesto, la función f puede no ser literalmente constante cerca de p, por lo que aún se puede querer saber cómo es el conjunto de niveles y dónde está el crecimiento más rápido. Para obtener esa información, tendrás que utilizar las derivadas superiores. Todo lo que te dice el gradiente es eso:

(1) el crecimiento más rápido, esté donde esté, es más lento que cualquier función lineal si está lo suficientemente cerca de p, y
(2) el conjunto de niveles a través de p está "probablemente" experimentando algún tipo de singularidad allí, como la auto-intersección, o posiblemente degenerando a un solo punto (en el caso de un extremo local).

Answer 4

Empieza en el caso de 1 variable. La derivada de una función en un punto es un número que puede considerarse un vector que apunta a la izquierda o a la derecha. Por defecto es perpendicular a la curva de nivel que es un punto. Ese vector, f'(c), se combina para formar (f'(c),-1) que es un vector perpendicular a la gráfica de la función y=f(x) en el punto(c,f(c)).

Para una función z=g(x,y) de dos variables y para la mayoría de los puntos, existe una vecindad del punto en la que la curva de nivel g(c,d)=K puede escribirse como la gráfica de una función y=f(x) --- eso es algo local. Así que la perpendicular a la tangente de esa gráfica (f'(c),-1) es hasta una constante el gradiente de g.

Por último, consideremos el caso de una función lineal. z=Ax+By. El vector (A,B) es perpendicular a la recta Constante =Ax +By.

Answer 5

La prueba que suelo ver: Elige un vector tangente de longitud unitaria arbitraria en el conjunto de niveles, y escríbelo con coordenadas. Si tomas el producto interior de este vector con el gradiente, la suma que obtienes es la definición de la derivada direccional a lo largo de ese vector, y por tanto cero.

Creo que hay una manera más geométrica de pensar en ello tomando una aproximación lineal a su función cerca de un punto no crítico, y restringiendo la función lineal a una esfera. Después de una rotación adecuada, los extremos se encuentran en los polos, y el conjunto de niveles se encuentra en el ecuador.