Cuando un Jacobiano analítico está disponible, es mejor para aproximar el estado de Hesse por $J^TJ$, o por diferencias finitas de la Jacobiana?

Question

Digamos que estoy de computación de algunos parámetros del modelo de mi minimizando la suma del cuadrado de los residuos, y asumo mis errores son de Gauss. Mi modelo produce analíticos derivados, por lo que el optimizador no necesita el uso de diferencias finitas. Una vez que el ajuste se completa, quiero calcular los errores estándar de los armarios de los parámetros.

En general, en esta situación, la Hessiana de la función de error está relacionado con la matriz de covarianza: $$ \sigma^2 H^{-1} = C $$ donde $\sigma^2$ es la varianza de los residuos.

Cuando no analíticos derivados del error están disponibles, normalmente es poco práctico para calcular el estado de Hesse, por lo $J^TJ$ es tomado como una buena aproximación.

Sin embargo, en mi caso, tengo una analítica J, por lo que es relativamente barato para mí para calcular H por finito de diferenciación J.

Por lo tanto, mi pregunta es esta: ¿Sería más exacto aproximado H utilizando exactamente mi J y la aplicación de la anterior aproximación, o a la aproximación de H por finito de diferenciación J?

Answer 1

BUENA pregunta. En primer lugar, recordar dónde esta aproximación $H \approx J^T J$ proviene. Deje $(x_i, y_i)$ ser los puntos de datos, $f(\cdot)$ ser su modelo y $\beta$ ser los parámetros de su modelo. A continuación, la función objetivo no lineal de mínimos cuadrados problema es $\frac{1}{2} r^T r$ donde $r$ es el vector de los residuos, $r_i = y_i - f(x_i, \beta)$. La exacta Hessiana de la función objetivo es $H = J^T J + \sum r_i \nabla^2 r_i$. Por lo que el error de esta aproximación es $H - J^T J = \sum r_i \nabla^2 r_i$. Es una buena aproximación cuando los residuos, en sí mismos, son pequeñas; o cuando la 2ª derivada de los residuos es pequeño. Lineal de mínimos cuadrados puede ser considerado como un caso especial en el que el 2º derivados de los residuos es cero.

Como para la aproximación de diferencias finitas, es relativamente barato. Para calcular una central de diferencia, deberá evaluar el Jacobiano un adicional de $2n$ veces (hacia adelante y a la diferencia de coste de $n$ evaluaciones adicionales, así que no me molestaría). El error de la central de diferencia aproximación es proporcional a $\nabla^4 r$ $h^2$ donde $h$ es el tamaño del paso. El óptimo tamaño de paso es $h \sim \epsilon^\frac{1}{3}$ donde $\epsilon$ es la precisión de la máquina. Así que a menos que los derivados de los residuos se encuentran volando, es bastante claro que la diferencia finita aproximación debería ser MUCHO mejor. Debo señalar que, mientras que la computación es mínima, la teneduría de libros es trivial. Cada una de las diferencias finitas en el Jacobiano le dará una fila de Hesse para cada residuo. Entonces tendrás que volver a montar el de Hesse utilizando la fórmula anterior.

Hay, sin embargo, una 3ª opción. Si su solver utiliza un Cuasi-método de Newton (DFP, BFGS, Bryoden, etc.), ya es aproximar el estado de Hesse en cada iteración. La aproximación puede ser muy bueno, ya que se utiliza la función objetivo y el gradiente de valores de cada iteración. La mayoría de los solucionadores le dará acceso a la final de la Arpillera de la estimación (o su inverso). Si esa es una opción para usted, me gustaría utilizarlo como la estimación de Hess. Ya calculada y que probablemente va a ser una muy buena estimación.