Aproximación del producto exterior de la Hessiana

Question

En la página 251 del libro de aprendizaje automático de Bishop, se deriva el Hessiano para los mínimos cuadrados (como un paso preliminar a la aproximación del producto externo):

$E = \frac{1}{2} \sum_{n=1}^{N} \left(y_n - t_n\right)^2$

$H = \nabla \nabla E = \sum_{n=1}^{N} \nabla y_n \left(\nabla y_n\right)^T + \sum_{n=1}^{N} (y_n - t_n) \nabla \nabla y_n$

• En primer lugar, ¿por qué el Hessiano no es dado por $\nabla \nabla ^T E$?
• En segundo lugar, ¿podría alguien explicar cómo se obtiene la expresión completa para el Hessiano?

Answer 1

Bueno, creo que el uso del operador consiste en aplicar el operador $\nabla$ dos veces, una vez y otra vez en la función $E$. Pero... A menudo se escribe de manera confusa como $\nabla^2$, y en este caso es $\nabla\left(\nabla E\right)$. O ya que $\nabla$ es un vector, $\nabla\nabla^T$ puede funcionar como un operador de matriz en $E$, pero simplemente estás aplicando el operador $\nabla$ dos veces.

Para la expresión, tienes: $$\begin{align} H &= \nabla \left(\nabla E\right) = \nabla\left[\nabla \left(\frac 12 \sum_{n=1}^{N} (y_n - t_n)^2\right)\right]\\ &= \nabla \left(\sum_{n=1}^{N} (y_n - t_n) \nabla y_n \right)\\ &=\sum_{n=1}^{N} \nabla y_n \left(\nabla y_n \right) + \sum_{n=1}^{N} (y_n - t_n)\nabla \left(\nabla y_n\right) \end{align}$$

Todavía no entiendo por qué Bishop tiene la transposición en sus impresiones posteriores.