¿Cuáles son las limitaciones de utilizar funciones de optimización sin gradiente?

Question

He estado utilizando la función de optimización de Nelder-Mead para obtener los valores óptimos de los pesos de la función de coste en casos sencillos de regresión lineal y logística, la ventaja de este algoritmo es que no requiere que el usuario suministre los gradientes de la función de coste con respecto a los pesos (se siente como una trampa).

Entonces, ¿hay alguna limitación o restricción para utilizar métodos de optimización como el de Nelder-Mead que no requieran el cálculo de gradientes?

Answer 1

Como principio general, los métodos basados en el gradiente tienden a converger significativamente más rápido en funciones suaves que los métodos de optimización sin gradiente. Además, mientras que existen buenas garantías de convergencia para el descenso de gradiente estocástico en funciones convexas, parece que las garantías de convergencia son bastante limitadas para Nelder-Mead. Por ejemplo, en este artículo se puede ver cómo se obtiene finalmente una garantía de convergencia para una variante en dos dimensiones: http://www-math.mit.edu/~poonen/papers/nm.pdf .