Ventajas de acercarse a un problema mediante la formulación de una función de coste que es optimizable a nivel mundial

Question

Esta es una pregunta general (es decir, no necesariamente específicos de estadísticas), pero he notado una tendencia en la máquina de aprendizaje de la estadística y de la literatura en los que los autores prefieren seguir el siguiente enfoque:

Enfoque 1: Obtención de una solución a un problema práctico, mediante la formulación de una función de coste para las que es posible (por ejemplo, desde un punto de vista computacional) para encontrar un nivel global de la solución óptima (por ejemplo, mediante la formulación de un convexo de la función de coste).

en lugar de:

Enfoque 2: Obtener una solución para el mismo problema con la formulación de una función de costo que no puede ser capaz de obtener un nivel global de la solución óptima (por ejemplo, sólo podemos obtener una localmente óptima solución para ello).

Tenga en cuenta que rigurosamente hablando, los dos problemas son diferentes; el supuesto es que los podemos encontrar en todo el mundo, la solución óptima para la primera, pero no para el segundo.

Otras consideraciones a un lado (es decir, velocidad, facilidad de implementación, etc.), Estoy buscando:

1. Una explicación de esta tendencia (por ejemplo, matemáticas o histórico argumentos)
2. Beneficios (prácticas y/o teóricas) para la siguiente Enfoque 1 en lugar de 2 a la hora de resolver un problema práctico.

Answer 1

Mi creer es que el objetivo debe ser la optimización de la función que le interesa. Si que pasa a ser el número de errores en las clasificaciones - y no una binomial de probabilidad, decir - entonces usted debe tratar de minimizar el número de errores en las clasificaciones. Sin embargo, para el número de razones prácticas mencionadas (la velocidad, la implementación, la inestabilidad etc), esto puede no ser tan fácil y que incluso puede ser imposible. En ese caso, elegimos para aproximar la solución.

Sé de básicamente dos estrategias de aproximación; o bien nos encontramos con algoritmos que intentan directamente aproximar la solución del problema original, o podemos reformular el problema original como más directamente el problema solucionable (por ejemplo, convexo relajaciones).

Un matemático argumento para preferir un enfoque sobre el otro es si podemos entender a) las propiedades de la solución en realidad calculada y b) cómo la solución se aproxima a la solución del problema que estamos realmente interesados en la.

Sé de muchos de los resultados en las estadísticas, donde podemos probar las propiedades de una solución a un problema de optimización. A mí me parece más difícil de analizar la solución de un algoritmo, donde no se dispone de una formulación matemática de lo que se calcula (por ejemplo, que resuelve un determinado problema de optimización). Yo desde luego no digan que usted no puede, pero parece ser un beneficio teórico, si usted puede dar una clara formulación matemática de lo que se compute.

Es claro para mí, si tales argumentos matemáticos dar cualquier beneficios prácticos para acercarse a 1 sobre el Enfoque 2. Sin duda hay alguien por ahí, que no tiene miedo de un no-convexa de la función de pérdida.