¿Qué es la minimización de la energía en aprender de máquina?

Question

Yo estaba leyendo acerca de la optimización de un mal planteado el problema en la visión por ordenador, y se topó con la siguiente explicación acerca de la optimización en la Wikipedia. Lo que no entiendo es, ¿por qué llaman a esto la optimización de la "minimización de la Energía" en la Visión por Ordenador?

Un problema de optimización puede ser representado de la siguiente manera:

Da: una función de $f: A \to R$ a partir de algunos de $A$ a los números reales

Buscó: un elemento $x_0$ $A$ tal que $f(x_0) ≤ f(x)$ todos los $x$ $A$ ("minimización") o que $f(x_0) ≥ f(x)$ todos los $x$ $A$ ("maximización").

Dicha formulación se llama un problema de optimización o un problema de programación matemática (un término que no están directamente relacionados con la la programación de la computadora, pero todavía en uso, por ejemplo en el lineal programación – ver la Historia a continuación). Muchos en el mundo real y teórica los problemas pueden ser modelados en este marco general. Los problemas formulados el uso de esta técnica en los campos de la física y de la visión de computadora puede se refieren a la técnica de minimización de la energía, se habla de el valor de la función $f$ como representación de la energía del sistema modelados.

Answer 1

La energía basada en los modelos constituyen un marco unificado para la representación de muchos algoritmos de aprendizaje automático. Ellos interpretan la inferencia como la minimización de una función de energía y el aprendizaje como la minimización de una pérdida funcional.

La función de la energía es una función de la configuración de variables latentes, y la configuración de los insumos proporcionados en un ejemplo. La inferencia normalmente significa encontrar bajo la configuración de energía, o de muestreo de la posible configuración de modo que la probabilidad de elegir una configuración determinada es una de Gibbs de distribución.

La pérdida funcional es una función de los parámetros del modelo dado muchos ejemplos. E. g., en un problema de aprendizaje supervisado, su pérdida es el error total en los objetivos. A veces se llama un "funcional" porque es una función de la (parametrización) la función que constituye el modelo.

Importante papel:

Y. LeCun, S. Chopra, R. Hadsell, M. Ranzato, y F. J. Huang, "Un tutorial sobre la energía, el aprendizaje basado en problemas," en la Predicción de Datos Estructurados, MIT Press, 2006.

Vea también:

LeCun, Y., & Huang, F. J. (2005). Pérdida de las Funciones Discriminativo para la Formación de Energía a Base de Modelos. En Actas del 10ş seminario Internacional sobre Inteligencia Artificial y Estadística (AIStats'05). Recuperado de http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf

Ranzato, M., Boureau, Y. L., Chopra, S., & LeCun, Y. (2007). Un sistema Unificado de Energía a Base de Marco para la Supervisión de Aprendizaje. Proc. Conferencia sobre la IA y Estadísticas (AI-Stats). Recuperado de http://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07

Answer 2

En la literatura de la detección de señal, la energía de una señal $x_t$ se define como E $$ = x_t \Sigma ^ 2 $$

Cuando predecir algunas respuesta y de algunos rasgos de x, una muy común y simple manera de proceder es minimizar la suma de la errores cuadrados $$ SSE = \Sigma (y) ^ 2 $$ $yhat$ Dónde está la respuesta integral. ¿Observe la semejanza? La ESS es energía. Esta energía es minimizada por los parámetros equipados.