¿Cuál es la diferencia entre el aprendizaje y la inferencia?

Question

Máquina de aprendizaje de los trabajos de investigación a menudo tratan el aprendizaje y la inferencia como dos tareas separadas, pero no es muy claro para mí lo que es la distinción. En este libro , por ejemplo, que el uso de la estadística Bayesiana para ambos tipos de tareas, pero no proporcionan una motivación para esa distinción. Tengo varias ideas vagas de lo que podía ser, pero me gustaría ver una sólida definición y quizás también refutaciones o extensiones de mis ideas:

• La diferencia entre inferir los valores de las variables latentes durante un cierto punto de datos y el aprendizaje de un modelo adecuado para los datos.
• La diferencia entre la extracción de varianzas (inferencia) y el aprendizaje de la invariances así como para ser capaz de extraer de varianzas (por el aprendizaje de la dinámica del espacio de entrada/proceso/mundo).
• El neurocientífico analogía podría ser a corto plazo la potenciación/depresión (las huellas de la memoria) vs la potenciación a largo plazo/depresión.

Answer 1

Estoy de acuerdo con Neil G la respuesta, pero quizás esta alternativa fraseo también ayuda a:

Considerar el establecimiento de un simple modelo de mezcla de Gaussianas. Aquí podemos pensar en el modelo de parámetros como el conjunto de campana de Gauss de los componentes de la mezcla (modelo de cada uno de sus medias y varianzas, y cada uno de ellos el peso de la mezcla).

Dado un conjunto de parámetros del modelo, la inferencia es el problema de la identificación de los componentes que era probable que los han generado un solo ejemplo, por lo general en la forma de una "responsabilidad" para cada componente. Aquí, las variables latentes son sólo el identificador único para el componente que ha generado el vector dado, y estamos inferir que el componente que es probable que haya sido. (En este caso, la inferencia es simple, aunque en los modelos más complejos que se hace bastante complicado.)

El aprendizaje es el proceso de, dado un conjunto de muestras de la modelo, la identificación de los parámetros del modelo (o una distribución a través de los parámetros del modelo que mejor ajuste los datos dados: la elección de la Gaussianas' medias, varianzas, y las ponderaciones.

Expectation-Maximization el algoritmo de aprendizaje puede considerarse como la realización de inferencia para el conjunto de entrenamiento, luego de aprendizaje los mejores parámetros dado que la inferencia, luego repetir. La inferencia se utiliza a menudo en el proceso de aprendizaje en este camino, pero también es de interés independiente, por ejemplo, para elegir el componente que genera un determinado punto de datos en un modelo de mezcla de Gaussianas, para decidir sobre la más probable estado oculto en un modelo oculto de Markov, para imputar los valores perdidos de una forma más general de modelos gráficos, ....

Answer 2

La inferencia es la elección de una configuración basada en una sola entrada. El aprendizaje es la elección de los parámetros que se basan en algunos de los ejemplos de formación.

En la energía basada en el modelo de marco (una forma de ver a casi todos los de la máquina de aprendizaje de las arquitecturas), la inferencia elige una configuración de minimizar una función de la energía, mientras que la celebración de los parámetros fijos; aprendizaje elige los parámetros para minimizar la función de pérdida.

Como conjugateprior señala que otras personas utilizan una terminología diferente para la misma cosa. Por ejemplo Obispo, utiliza la "inferencia" y "decisión" significa que el aprendizaje y la inferencia, respectivamente. Pero cualquiera de los términos que se decida, estos dos conceptos son distintos.

El neurológicos analogía es un patrón de disparo de las neuronas es una configuración de un grupo de enlace de las fortalezas son los parámetros.

Answer 3

Esto se ve como el clásico de la cruz-la disciplina de la jerga de la confusión. El OP parece ser el uso de la neurociencia como la terminología, donde los dos términos en cuestión puede tener diferentes connotaciones. Pero desde la Cruz Validado general se ocupa de las estadísticas y mecanizado de aprendizaje, voy a intentar contestar a la pregunta basada en el uso común de estos términos en los campos.

En la estadística clásica, la inferencia es simplemente el acto de tomar lo que usted sabe acerca de una muestra y hacer una matemática de la declaración sobre la población de la que es (ojala) representante. A partir de la canónica de los libros de texto de Casella Y Berger (2002): "El sujeto de la teoría de la probabilidad es el fundamento sobre el cual todas las estadísticas se construye ... a través de estos modelos, los estadísticos son capaces de sacar inferencias sobre las poblaciones, inferencias basadas en el examen de sólo una parte de un todo". Así que en la estadística, inferencia está relacionado específicamente con los valores de p, de la estadística de prueba, y la distribución de muestras, etc.

Como para el aprendizaje, creo que esta tabla de Wasserman Todo de Estadísticas (2003) podría ser útil: