Gradiente no es la dirección que señala el mínimo o máximo

Question

Entiendo que el gradiente es la dirección de steepest descent (ref: ¿por Qué es el gradiente de la dirección de subida más empinada? y Gradiente de una función como la dirección de más escarpado ascenso/descenso).

Sin embargo, no soy capaz de visualizar.

El Blue arrow es el que apunta hacia mínimos/máximos. El gradiente (black arrow) no es y es por eso que tenemos este movimiento en zigzag.

¿Entonces cómo gradiente es la dirección de la empinada bajada/subida?

Tengo una pregunta relacionada: ¿por Qué el gradiente de ascenso/descenso tener movimiento en zigzag?

Answer 1

Aunque el vector gradiente se define en cada punto, es realmente un local de concepto.

En cualquier momento dado, se le indica la dirección en la que los cambios de la función con la mayor tasa. Si se piensa en función de la altura, nos da la dirección en la que el suelo es más pronunciada.

Tan pronto como usted se mueve una pulgada, el suelo, los cambios y los abruptos cambios de dirección.

En lugar del negro en zigzag, se necesita una curva integral del vector gradiente de campo.

Answer 2

El gradiente $\nabla f(x)$ puntos en la dirección $u$ de manera tal que la derivada direccional $D_u f(x)$ es tan grande como sea posible. Usted probablemente caminar cuesta abajo en la dirección de steepest descent, a pesar del hecho de que el punto más bajo en la tierra es el Mar Muerto , y probablemente esté caminando en la dirección completamente equivocada para llegar a él.

Editar:

Tal vez caminando abajo de una colina no es una analogía perfecta, porque hace parecer que la "dirección de steepest descent" debe ser un vector en $\mathbb R^3$, $z$ componente así como las $x$ $y$ componentes.

Tal vez una mejor analogía es un error de caminar en caliente (dolorosamente caliente!) en la acera. El error se mueve en la dirección de steepest descent (la dirección en la que la temperatura disminuye más rápidamente), pero el error no darse cuenta de que el mejor lugar en la acera es de diez metros en la dirección opuesta, donde hay sombra. Esperemos que en esta analogía es evidente que la temperatura es una función de $f(x,y)$, y la dirección de steepest descent es un vector con un $x$ componente y un $y$ componente, pero no $z$ componente.

Answer 3

Sus líneas negras no son gradiente de líneas. El gradiente debe ser perpendicular a las líneas de contorno en cada punto. Incluso en un elipsoidal valle, el gradiente de no señalar el punto más bajo, pero que se apuntan mucho más cerca de él que su imagen indica.

Una función minimizer que sigue la inclinación local tiene que tener un número finito de tamaño de un paso en la dirección del gradiente, a continuación, encontrar el gradiente en la nueva ubicación para tomar el siguiente paso. A menudo la evaluación de la pendiente es muy caro y quieres hacerlo cuantas veces como sea posible. Un enfoque es entonces seguir el gradiente desde el punto actual hasta la función deja de reducir, a continuación, evaluar el gradiente local, y se encaminó en esa dirección. Si esa es su estrategia, cada nueva dirección en un ángulo recto a la dirección. Si el nuevo gradiente no eran perpendiculares a la antigua dirección de viaje, usted puede disminuir la función moviendo más lejos o no tan lejos en el antiguo sentido de la marcha. Usted sólo cambiar de dirección cuando usted está en un mínimo local en el sentido de la marcha.